Anzahl der Elemente in einem Iterator in Python ermitteln

Question

Gibt es einen effizienten Weg, um zu wissen, wie viele Elemente in einem Iterator in Python, im Allgemeinen, ohne Iteration durch jedes und Zählen sind?

Answer 1

Dieser Code sollte funktionieren:

>>> iter = (i for i in range(50))
>>> sum(1 for _ in iter)
50

Obwohl es jedes Element durchläuft und zählt, ist dies der schnellste Weg, dies zu tun.

Es funktioniert auch, wenn der Iterator kein Element hat:

>>> sum(1 for _ in range(0))
0

Natürlich läuft es für eine unendliche Eingabe ewig, also denken Sie daran, dass Iteratoren unendlich sein können:

>>> sum(1 for _ in itertools.count())
[nothing happens, forever]

Beachten Sie auch, dass der Iterator wird erschöpft sein und bei weiteren Versuchen, sie zu nutzen, werden keine Elemente . Das ist eine unvermeidliche Folge des Iterator-Designs von Python. Wenn Sie die Elemente behalten wollen, müssen Sie sie in einer Liste oder ähnlichem speichern.

Answer 2

Nein, das ist nicht möglich.

Beispiel:

import random

def gen(n):
    for i in xrange(n):
        if random.randint(0, 1) == 0:
            yield i

iterator = gen(10)

Länge der iterator ist unbekannt, bis man sie durchläuft.

Answer 3

Nein, bei jeder Methode müssen Sie jedes Ergebnis auflösen. Sie können

iter_length = len(list(iterable))

aber wenn man das auf einen unendlichen Iterator anwendet, kommt man natürlich nie zurück. Es wird auch den Iterator verbrauchen und es muss zurückgesetzt werden, wenn Sie den Inhalt verwenden möchten.

Wenn Sie uns sagen, welches Problem Sie wirklich lösen wollen, können wir vielleicht einen besseren Weg finden, um Ihr eigentliches Ziel zu erreichen.

Bearbeiten: Mit list() wird die gesamte Iterable auf einmal in den Speicher eingelesen, was unerwünscht sein kann. Eine andere Möglichkeit ist, die

sum(1 for _ in iterable)

wie eine andere Person gepostet hat. So wird vermieden, dass es im Gedächtnis bleibt.

Answer 4

Das geht nicht (es sei denn, der Typ eines bestimmten Iterators implementiert einige spezifische Methoden, die dies ermöglichen).

Im Allgemeinen können Sie Iterator-Elemente nur zählen, indem Sie den Iterator konsumieren. Das ist wahrscheinlich eine der effizientesten Methoden:

import itertools
from collections import deque

def count_iter_items(iterable):
    """
    Consume an iterable not reading it into memory; return the number of items.
    """
    counter = itertools.count()
    deque(itertools.izip(iterable, counter), maxlen=0)  # (consume at C speed)
    return next(counter)

(Für Python 3.x ersetzen Sie itertools.izip con zip ).

Answer 5

Irgendwie schon. Sie könnte überprüfen Sie die __length_hint__ Methode, aber seien Sie gewarnt, dass es sich (zumindest bis Python 3.4, wie gsnedders hilfreich anmerkt) um eine undokumentiertes Detail der Implementierung ( folgende Nachricht im Thema ), die sehr wohl verschwinden oder stattdessen nasale Dämonen beschwören können.

Sonst nicht. Iteratoren sind einfach ein Objekt, das nur die next() Methode. Sie können sie so oft wie nötig aufrufen, und es kann sein, dass sie am Ende erhöhen oder nicht StopIteration . Glücklicherweise ist dieses Verhalten in den meisten Fällen für den Programmierer transparent :)