Wie erhält man die Protokolle für einen laufenden Hadoop-Job?

Question

Ich starte einen Auftrag in einem Hadoop-Cluster mit JobClient was mir einen Griff zu einem RunningJob . Gibt es eine einfache Möglichkeit, die Protokollausgabe nur für diesen bestimmten Auftrag zu erhalten? Oder muss ich einen Code schreiben, um das Protokollverzeichnis zu durchsuchen und die Namen mit der Auftragskennung abzugleichen?

Gibt es alternativ eine Möglichkeit, die Protokollausgabe für jeden einzelnen Auftrag umzuleiten, oder ist die gesamte Protokollierung in Hadoop global konfiguriert?

Answer 1

Sie können die jobspezifische Ausgabe an die Konsole Ihres laufenden Jobs senden, wenn Sie die gewünschte Ausgabe mit System.out.println in Ihrem Java-Code codieren, andernfalls müssten Sie in den Hadoop-Protokollen nach Ihrer JobID suchen.

Sie können auch Zähler innerhalb Ihres Auftrags verwenden http://philippeadjiman.com/blog/2010/01/07/hadoop-tutorial-series-issue-3-counters-in-action/