Neuladen von Untermodule in IPython

Question

Derzeit arbeite ich an einem Python-Projekt, das Untermodule enthält und numpy/scipy verwendet. Ipython wird als interaktive Konsole verwendet. Leider bin ich mit dem Workflow, den ich derzeit verwende, nicht sehr zufrieden, ich würde mich über einige Ratschläge freuen.

In IPython wird das Framework durch einen einfachen import-Befehl geladen. Es ist jedoch oft notwendig, Code in einem der Untermodule des Frameworks zu ändern. Zu diesem Zeitpunkt ist bereits ein Modell geladen und ich benutze IPython, um damit zu interagieren.

Das Framework enthält viele Module, die voneinander abhängen, d.h. wenn das Framework initial geladen wird, importiert und konfiguriert das Hauptmodul die Untermodule. Die Änderungen am Code werden nur ausgeführt, wenn das Modul unter Verwendung von reload(main_mod.sub_mod) neu geladen wird. Dies ist umständlich, da ich alle geänderten Module einzeln unter Verwendung des vollständigen Pfads neu laden muss. Es wäre sehr praktisch, wenn reload(main_module) auch alle Untermodule neu laden würde, jedoch ohne numpy/scipy neu zu laden.

Answer 1

IPython kommt mit einigem automatischen Neuladen Magic:

%load_ext autoreload
%autoreload 2

Es wird alle geänderten Module jedes Mal neu laden, bevor eine neue Zeile ausgeführt wird. Die Art und Weise, wie dies funktioniert, ist etwas anders als bei dreload. Es gibt einige Einschränkungen, tippen Sie %autoreload?, um zu sehen, was schief gehen kann.

---

Wenn Sie diese Einstellungen immer aktivieren möchten, ändern Sie Ihre IPython-Konfigurationsdatei ~/.ipython/profile_default/ipython_config.py[1] und fügen Sie hinzu:

c.InteractiveShellApp.extensions = ['autoreload']     
c.InteractiveShellApp.exec_lines = ['%autoreload 2']

Dank an @Kos über einen Kommentar unten.

[1] Wenn Sie die Datei ~/.ipython/profile_default/ipython_config.py nicht haben, müssen Sie zuerst ipython profile create aufrufen. Oder die Datei befindet sich möglicherweise unter $IPYTHONDIR.

Answer 2

Das Modul namens importlib ermöglicht den Zugriff auf den Import-Internals. Insbesondere bietet es die Funktion importlib.reload():

import importlib
importlib.reload(my_module)

Im Gegensatz zu %autoreload setzt importlib.reload() auch globale Variablen zurück, die im Modul gesetzt sind. In den meisten Fällen ist dies das, was man möchte.

importlib ist erst seit Python 3.1 verfügbar. Für ältere Versionen muss das Modul imp verwendet werden.

Ich empfehle, die Dokumentation von importlib.reload() zu lesen, um eine Liste aller Besonderheiten dieser Funktion zu erhalten (rekursives Neu Laden, Fälle, in denen Definitionen alter Objekte bestehen bleiben usw.).

Answer 3

In IPython 0.12 (und möglicherweise früher) können Sie dies verwenden:

%load_ext autoreload
%autoreload 2

Dies entspricht im Wesentlichen der Antwort von pv., mit der Ausnahme, dass die Erweiterung umbenannt wurde und jetzt mit %load_ext geladen wird.

Answer 4

Aus irgendeinem Grund funktionieren weder %autoreload noch dreload für die Situation, wenn Sie Code von einem Notebook in ein anderes importieren. Nur das einfache Python reload funktioniert:

reload(module)

Basierend auf [1].

Answer 5

IPython bietet dreload() an, um alle Untermodule rekursiv neu zu laden. Persönlich ziehe ich es vor, den %run() Magic-Befehl zu verwenden (obwohl er, wie von John Salvatier in den Kommentaren angemerkt, kein tiefgreifendes Neu laden durchführt).