Wie kann ich Schleife durch einen großen Datensatz in Python ohne einen MemoryError?

Question

Ich habe eine große Reihe von Rasterdatensätzen, die monatliche Niederschläge über mehrere Jahrzehnte darstellen. Ich habe ein Skript in Python geschrieben, das in Schleifen über jedes Raster läuft und Folgendes tut:

1. Konvertiert das Raster in ein maskiertes Numpy-Array,
2. Führt eine Menge Array-Algebra aus, um einen neuen Wasserstand zu berechnen,
3. Schreibt das Ergebnis in ein Ausgaberaster.
4. Wiederholungen

Das Skript besteht lediglich aus einer langen Liste von Array-Algebra-Gleichungen, die von einer Schleifenanweisung eingeschlossen sind.

Alles funktioniert gut, wenn ich das Skript nur auf einem kleinen Teil meiner Daten (z. B. 20 Jahre) ausführe, aber wenn ich versuche, die gesamte Menge zu verarbeiten, erhalte ich eine MemoryError . Die Fehlermeldung gibt nicht mehr Informationen als das (außer dass sie die Zeile im Code hervorhebt, in der Python aufgegeben hat).

Leider kann ich meine Daten nicht einfach in Stücken verarbeiten - ich muss wirklich alles auf einmal machen können. Das liegt daran, dass am Ende jeder Iteration die Ausgabe (Wasserstand) als Startpunkt in die nächste Iteration zurückgeführt wird.

Mein Verständnis von Programmierung ist im Moment sehr einfach, aber ich dachte, dass alle meine Objekte bei jeder Schleife einfach überschrieben werden. Ich bin (dummerweise?) davon ausgegangen, dass der Code, wenn er einmal erfolgreich eine Schleife durchlaufen hat, in der Lage sein sollte, unendlich viele Schleifen zu durchlaufen, ohne immer mehr Speicher zu verbrauchen.

Ich habe versucht, verschiedene Teile der Dokumentation zu lesen und habe etwas entdeckt, das sich "Garbage Collector" nennt, aber ich habe das Gefühl, dass ich überfordert bin und mein Gehirn schmilzt! Kann mir jemand einen Einblick geben, was eigentlich mit den Objekten im Speicher passiert, wenn mein Code in Schleifen läuft? Gibt es eine Möglichkeit, den Speicher am Ende jeder Schleife freizugeben, oder gibt es eine eher "pythonische" Art der Codierung, die dieses Problem gänzlich vermeidet?

Answer 1

Sie brauchen sich nicht um die Speicherverwaltung zu kümmern, schon gar nicht um den Garbage Collector, der eine sehr spezielle Aufgabe hat, die Sie wahrscheinlich gar nicht nutzen. Python wird immer den Speicher sammeln, den es kann, und ihn wiederverwenden.

Es gibt nur zwei Gründe für Ihr Problem: Entweder sind die Daten, die Sie zu laden versuchen, zu groß, um in den Speicher zu passen, oder Ihre Berechnungen speichern Daten irgendwo (eine Liste, ein Diktat, etwas Persistentes zwischen Iterationen) und dieser Speicher wächst und wächst. Speicher-Profiler können helfen die Feststellung, dass.

Answer 2

Eine schnelle Möglichkeit, den Garbage Collector zu zwingen, die temporären Nur-Schleifen-Objekte zu bereinigen, ist die del-Anweisung:

for obj in list_of_obj:   
    data = obj.getData()  
    do_stuff(data)   
    del data 

Dies zwingt den Interpreter zum Löschen und Freigeben der temporären Objekte. HINWEIS: Dies stellt nicht sicher, dass das Programm in anderen Teilen der Berechnung keinen Speicher leckt oder verbraucht, es ist nur eine schnelle Überprüfung