Ich habe einen Hadoop-Job mit einer ziemlich langen Map-Phase, und ich möchte, dass andere kurze Jobs vorrangig ausgeführt werden. Zu diesem Zweck setze ich die Priorität meines langen Jobs mit hadoop job -set-priority job_id LOW.
Das Problem ist, dass bei meinem langen Auftrag die Kopierphase der Reducer auch dann beginnt, wenn nur 30 % meiner Kartenaufgaben abgeschlossen sind.
Mein Raster ist dann irgendwie verstopft, da alle Reduce-Slots von dem Job mit NIEDRIGER Priorität belegt sind. Die anderen kleinen Jobs können ihre Map-Phasen durchführen, aber sie bekommen keine Reducer, bis mein langer Job fertig ist.
Irgendeine Idee? Ja, danke. J.
