Wie kann ich itertools.groupby() verwenden?

Question

Ich habe keine verständliche Erklärung gefunden, wie man Pythons itertools.groupby() Funktion. Was ich zu tun versuche, ist dies:

• Man nehme eine Liste - in diesem Fall die Kinder eines objektivierten lxml Element
• Teilen Sie sie nach bestimmten Kriterien in Gruppen ein
• Später wird dann über jede dieser Gruppen separat iteriert.

Ich habe Folgendes überprüft die Dokumentation aber ich hatte Schwierigkeiten, sie über eine einfache Liste von Zahlen hinaus anzuwenden.

Wie verwende ich also die itertools.groupby() ? Gibt es eine andere Technik, die ich anwenden sollte? Hinweise auf gute "voraussetzungsreiche" Lektüre wären ebenfalls willkommen.

Answer 1

WICHTIGER HINWEIS: Sie müssen Ihre Daten sortieren Erstens.

---

Was ich nicht verstanden habe, ist, dass in der Beispielkonstruktion

groups = []
uniquekeys = []
for k, g in groupby(data, keyfunc):
   groups.append(list(g))    # Store group iterator as a list
   uniquekeys.append(k)

k ist der aktuelle Gruppierungsschlüssel, und g ist ein Iterator, mit dem Sie über die durch diesen Gruppierungsschlüssel definierte Gruppe iterieren können. Mit anderen Worten, die groupby Iterator selbst gibt Iteratoren zurück.

Hier ist ein Beispiel dafür, das klarere Variablennamen verwendet:

from itertools import groupby

things = [("animal", "bear"), ("animal", "duck"), ("plant", "cactus"), ("vehicle", "speed boat"), ("vehicle", "school bus")]

for key, group in groupby(things, lambda x: x[0]):
    for thing in group:
        print("A %s is a %s." % (thing[1], key))
    print("")

Sie erhalten dann die Ausgabe:

Ein Bär ist ein Tier.
Eine Ente ist ein Tier.

Ein Kaktus ist eine Pflanze.

Ein Schnellboot ist ein Fahrzeug.
Ein Schulbus ist ein Fahrzeug.

In diesem Beispiel, things ist eine Liste von Tupeln, wobei das erste Element in jedem Tupel die Gruppe ist, zu der das zweite Element gehört.

El groupby() nimmt zwei Argumente entgegen: (1) die zu gruppierenden Daten und (2) die Funktion, mit der sie gruppiert werden sollen.

Hier, lambda x: x[0] sagt groupby() um das erste Element in jedem Tupel als Gruppierungsschlüssel zu verwenden.

In dem oben genannten for Erklärung, groupby gibt drei Paare (Schlüssel, Gruppen-Iterator) zurück - eines für jeden eindeutigen Schlüssel. Sie können den zurückgegebenen Iterator verwenden, um über jedes einzelne Element in dieser Gruppe zu iterieren.

Hier ein leicht abgewandeltes Beispiel mit denselben Daten unter Verwendung eines Listenverständnisses:

for key, group in groupby(things, lambda x: x[0]):
    listOfThings = " and ".join([thing[1] for thing in group])
    print(key + "s:  " + listOfThings + ".")

So erhalten Sie die Ausgabe:

Tiere: Bär und Ente.
Pflanzen: Kaktus.
Fahrzeuge: Schnellboot und Schulbus.

Answer 2

itertools.groupby ist ein Werkzeug zur Gruppierung von Elementen.

Von die Dokumente erfahren wir mehr darüber, was sie bewirken könnte:

# [k for k, g in groupby('AAAABBBCCDAABBB')] --> A B C D A B

# [list(g) for k, g in groupby('AAAABBBCCD')] --> AAAA BBB CC D

groupby Objekte ergeben Schlüssel-Gruppen-Paare, wobei die Gruppe ein Generator ist.

Eigenschaften

• A. Aufeinanderfolgende Artikel zusammenfassen
• B. Alle Vorkommen eines Elements gruppieren, wenn eine sortierte Wiederholungsliste vorliegt
• C. Legen Sie fest, wie die Elemente mit einem Schlüsselfunktion *

Vergleiche

# Define a printer for comparing outputs
>>> def print_groupby(iterable, keyfunc=None):
...    for k, g in it.groupby(iterable, keyfunc):
...        print("key: '{}'--> group: {}".format(k, list(g)))

# Feature A: group consecutive occurrences
>>> print_groupby("BCAACACAADBBB")
key: 'B'--> group: ['B']
key: 'C'--> group: ['C']
key: 'A'--> group: ['A', 'A']
key: 'C'--> group: ['C']
key: 'A'--> group: ['A']
key: 'C'--> group: ['C']
key: 'A'--> group: ['A', 'A']
key: 'D'--> group: ['D']
key: 'B'--> group: ['B', 'B', 'B']

# Feature B: group all occurrences
>>> print_groupby(sorted("BCAACACAADBBB"))
key: 'A'--> group: ['A', 'A', 'A', 'A', 'A']
key: 'B'--> group: ['B', 'B', 'B', 'B']
key: 'C'--> group: ['C', 'C', 'C']
key: 'D'--> group: ['D']

# Feature C: group by a key function
>>> # islower = lambda s: s.islower()                      # equivalent
>>> def islower(s):
...     """Return True if a string is lowercase, else False."""   
...     return s.islower()
>>> print_groupby(sorted("bCAaCacAADBbB"), keyfunc=islower)
key: 'False'--> group: ['A', 'A', 'A', 'B', 'B', 'C', 'C', 'D']
key: 'True'--> group: ['a', 'a', 'b', 'b', 'c']

Verwendet

• Anagramme ( siehe Notizbuch )
• Binning
• Ungerade und gerade Zahlen gruppieren
• Eine Liste nach Werten gruppieren
• Doppelte Elemente entfernen
• Indizes von sich wiederholenden Elementen in einem Array finden
• Aufteilung eines Arrays in n-fache Teile
• Entsprechende Elemente zwischen zwei Listen finden
• Komprimierungsalgorithmus ( siehe Notizbuch )/ Codierung der Lauflänge
• Gruppierung von Buchstaben nach Länge, Tastenfunktion ( siehe Notizbuch )
• Aufeinanderfolgende Werte über einem Schwellenwert ( siehe Notizbuch )
• Suchen von Zahlenbereichen in einer Liste o laufende Posten (siehe docs )
• Alle verwandten längsten Sequenzen finden
• Aufeinanderfolgende Sequenzen nehmen, die eine Bedingung erfüllen ( siehe entsprechenden Beitrag )

Anmerkung: Einige der letztgenannten Beispiele stammen von Víctor Terróns PyCon (Gespräch) (Spanisch) "Kung Fu im Morgengrauen mit Itertools". Siehe auch die groupby Quellcode in C geschrieben.

* Eine Funktion, bei der alle Elemente durchlaufen und verglichen werden, was sich auf das Ergebnis auswirkt. Andere Objekte mit Schlüsselfunktionen sind sorted() , max() y min() .

---

Antwort

# OP: Yes, you can use `groupby`, e.g. 
[do_something(list(g)) for _, g in groupby(lxml_elements, criteria_func)]

Answer 3

Das Beispiel in den Python-Dokumenten ist recht einfach:

groups = []
uniquekeys = []
for k, g in groupby(data, keyfunc):
    groups.append(list(g))      # Store group iterator as a list
    uniquekeys.append(k)

In Ihrem Fall sind die Daten also eine Liste von Knoten, keyfunc ist der Ort, an dem die Logik Ihrer Kriterienfunktion stattfindet, und dann groupby() gruppiert die Daten.

Sie müssen darauf achten, dass die Daten zu sortieren nach den Kriterien, bevor Sie die groupby oder es wird nicht funktionieren. groupby Methode durchläuft eigentlich nur eine Liste und erstellt bei jeder Änderung des Schlüssels eine neue Gruppe.

Answer 4

Ein netter Trick mit groupby ist, die Längenkodierung in einer Zeile auszuführen:

[(c,len(list(cgen))) for c,cgen in groupby(some_string)]

ergibt eine Liste von 2 Tupeln, wobei das erste Element das Zeichen und das zweite die Anzahl der Wiederholungen ist.

Edit: Beachten Sie, dass dies der Unterschied zwischen itertools.groupby aus der SQL-Datei GROUP BY Semantik: itertools sortiert den Iterator nicht im Voraus (und kann dies im Allgemeinen auch nicht), so dass Gruppen mit demselben "Schlüssel" nicht zusammengeführt werden.

Answer 5

Ein weiteres Beispiel:

for key, igroup in itertools.groupby(xrange(12), lambda x: x // 5):
    print key, list(igroup)

führt zu

0 [0, 1, 2, 3, 4]
1 [5, 6, 7, 8, 9]
2 [10, 11]

Beachten Sie, dass igroup ist ein Iterator (ein Subiterator, wie es in der Dokumentation heißt).

Dies ist nützlich für das Chunking eines Generators:

def chunker(items, chunk_size):
    '''Group items in chunks of chunk_size'''
    for _key, group in itertools.groupby(enumerate(items), lambda x: x[0] // chunk_size):
        yield (g[1] for g in group)

with open('file.txt') as fobj:
    for chunk in chunker(fobj):
        process(chunk)

Ein weiteres Beispiel für groupby - wenn die Schlüssel nicht sortiert sind. Im folgenden Beispiel werden die Elemente in xx sind gruppiert nach Werten in yy . In diesem Fall wird zuerst ein Satz Nullen ausgegeben, gefolgt von einem Satz Einsen, gefolgt von einem weiteren Satz Nullen.

xx = range(10)
yy = [0, 0, 0, 1, 1, 1, 0, 0, 0, 0]
for group in itertools.groupby(iter(xx), lambda x: yy[x]):
    print group[0], list(group[1])

Produce:

0 [0, 1, 2]
1 [3, 4, 5]
0 [6, 7, 8, 9]