Wie kann ich ein Profil der Datei-E/A erstellen?

Question

Unser Gebäude ist ärgerlich langsam. Es ist ein Java-System, das mit Ameise und ich betreibe meinen unter Windows XP. Je nach Hardware kann es zwischen 5 und 15 Minuten dauern, bis der Vorgang abgeschlossen ist.

Die Beobachtung der allgemeinen Leistungsmetriken auf dem Rechner sowie die Korrelation der Hardwareunterschiede mit den Erstellungszeiten zeigen, dass der Prozess an E/A gebunden ist. Es zeigt auch, dass der Prozess viel mehr liest als schreibt.

Ich habe jedoch keine gute Methode gefunden, um zu bestimmen die Dateien gelesen oder geschrieben werden, und wie oft. Mein Verdacht ist, dass mit unseren vielen Unterprojekten und nachfolgenden Aufrufen des Compilers, der Build die gleichen häufig verwendeten Bibliotheken viele Male neu liest.

Welche Profiling-Tools können mir sagen, was ein bestimmter Prozess mit welchen Dateien macht? Kostenlos ist schön, aber nicht unbedingt notwendig.

---

Verwendung von Process Monitor, wie von Jon Skeet vorgeschlagen, Ich konnte meinen Verdacht bestätigen: Fast die gesamte Festplattenaktivität bestand aus dem Lesen und erneuten Lesen von Bibliotheken, wobei die JDK-Kopien von "rt.jar" und anderen Bibliotheken an der Spitze der Liste standen. Ich kann keine RAM-Disk erstellen, die groß genug ist, um alle von mir verwendeten Bibliotheken zu speichern, aber das Mounten der "heißesten" Bibliotheken auf eine RAM-Disk verkürzte die Erstellungszeiten um etwa 40 %; offensichtlich leistet das Windows-Dateisystem-Caching keine gute Arbeit, obwohl ich Windows angewiesen habe, es zu optimieren.

Interessant ist, dass der typische "Lesevorgang" auf einer JAR Datei nur ein paar Dutzend Bytes; in der Regel sind es zwei oder drei, gefolgt von einer Überspringung von mehreren Kilobytes weiter in der Datei. Es schien für Massenlesevorgänge schlecht geeignet zu sein.

Ich werde weitere Tests durchführen mit tous meiner Bibliotheken von Drittanbietern auf einem Flash-Laufwerk zu speichern, um zu sehen, welche Auswirkungen das hat.

Answer 1

Wenn Sie sólo brauchen es für Windows, SysInternals Prozess-Monitor sollte Ihnen alles zeigen, was Sie wissen müssen. Sie können den Prozess auswählen, dann jeden Vorgang sehen, wie er abläuft, und auch eine Zusammenfassung der Dateioperationen erhalten.

Answer 2

Als ich noch Windows verwendete, erzielte ich gute Ergebnisse bei der Beschleunigung meines Builds, indem ich die gesamte Build-Ausgabe auf eine separate Partition von vielleicht 3 GB Größe schrieb und diese regelmäßig nachts einmal pro Woche über eine geplante Aufgabe formatierte. Es ist nur die Build-Ausgabe, also macht es nichts, wenn sie gelegentlich einseitig geplättet wird.

Aber ehrlich gesagt, seit ich auf Linux umgestiegen bin, mache ich mir über die Fragmentierung der Festplatte keine Sorgen mehr.

Ein weiterer Grund, Ihren Build zumindest einmal unter Linux zu testen, ist, dass Sie die strace (gefiltert nach Aufrufen von öffnen ), um zu sehen, welche Dateien von Ihrem Build berührt werden.

Answer 3

Ein alter Hut: Erstellen Sie eine RAM-Disk und kompilieren Sie Ihre Dateien von dort.

Answer 4

Früher habe ich eine umfangreiche Java-Webanwendung (JSP-Frontend) mit Ant unter Windows erstellt, und das dauerte bis zu 3 Minuten. Ich löschte meinen Computer und installierte Linux, und plötzlich dauerten die Builds 18 Sekunden. Das sind echte Zahlen, wenn auch etwa 3 Jahre alt. Ich kann nur vermuten, dass Java die Linux-Speicherverwaltung und die Threading-Modelle gegenüber den Windows-Äquivalenten bevorzugt, da meiner Erfahrung nach alle Java-Programme unter Linux besser zu laufen scheinen (insbesondere Eclipse). Linux scheint viel besser in der Lage zu sein, zusätzliche Lesevorgänge von der Festplatte zu verhindern, wenn man viele Dateien liest, die sich nicht geändert haben (z. B. Executables und Bibliotheken). Dies kann eine Eigenschaft des Festplatten-Caches oder des Dateisystems sein, ich bin mir nicht sicher, was davon.

Eine der großartigen Eigenschaften von Java ist, dass es plattformübergreifend ist, so dass die Einrichtung eines Linux-basierten Build-Servers tatsächlich eine Option für Sie ist. Da ich so etwas wie ein Linux-Evangelist bin, würde ich es natürlich vorziehen, wenn Sie Ihre Entwicklungsumgebung auf Linux umstellen würden, aber ich weiß, dass viele Leute das nicht tun wollen (oder aus praktischen Gründen nicht können).

Wenn Sie nicht einmal bereit sind, einen Linux-Build-Server einzurichten, um zu sehen, ob er schneller läuft, könnten Sie zumindest versuchen, die Festplatte Ihres Windows-Rechners zu defragmentieren. Das macht einen großen Unterschied für C++-Builds auf meinem Arbeitsrechner. Versuchen Sie JkDefrag was viel besser zu sein scheint als der Defragmentierer, der mit Windows mitgeliefert wird.

EDIT : Ich nehme an, dass ich eine Ablehnung erhalten habe, weil meine Antwort nicht genau auf die gestellte Frage eingeht. Es ist jedoch in der Tradition von StackOverflow, den Leuten zu helfen, ihr wirkliches Problem zu lösen, nicht nur die Symptome zu behandeln. Ich gehöre nicht zu den Leuten, für die die Antwort auf jede Frage "benutze Linux" lautet. In diesem Fall habe ich jedoch sehr reale, gemessene Leistungssteigerungen in genau der Situation, nach der der Fragesteller fragt, und deshalb dachte ich, dass es sich lohnt, meine Erfahrungen zu teilen.

Answer 5

Eigentlich FileMon ist ein direkteres Werkzeug als ProcMon. Im Allgemeinen sollten Sie bei der Durchführung von Leistungsanalysen für Festplatten-E/A die folgenden beiden Punkte berücksichtigen:

• Durchsatz (Lese-/Schreibgeschwindigkeit von Bytes pro Sekunde)
• Latenzzeit (wie lange wird in der Warteschlange auf das Lesen/Schreiben gewartet)

Wenn Sie die Leistung Ihres Systems anhand der oben genannten Kriterien bewerten, ist es einfach, den Engpass zu ermitteln und Korrekturmaßnahmen zu ergreifen: besorgen Sie sich schnellere Festplatten oder ändern Sie Ihren Code (je nachdem, was billiger ist).