framework für parallele verarbeitung in java

Question

Ich bin neu in diesem Thema. Ich hatte mich entschlossen, für mein Projekt ein Parallelverarbeitungs-Framework für Cloud-Datenverarbeitungsanwendungen in Java zu entwickeln. Das Framework muss den gegebenen sequenziellen Java-Code aufteilen und diese Untercodes in verschiedenen virtuellen Maschinen in der Cloud verarbeiten. Das Framework muss die Ressourcen entsprechend der Last dynamisch zuweisen und freigeben. Mein Problem ist, wie ich das Framework entwickeln kann.

Gibt es irgendwelche Bibliotheken zur Verfügung, um den Java-Code in verschiedenen virtuellen Maschinen in der Cloud zu planen? bitte informieren Sie mich, wenn etwas verfügbar ist.

Answer 1

Terrakotta y Gridgain sind ausgezeichnete Lösungen. Diejenigen, die von yerlikayaoglu (Hadoop und Hazelcast) sind in ihrem Bereich ebenfalls hervorragend, aber sie sind alle sehr unterschiedlich und hängen vom jeweiligen Anwendungsfall ab. Das ist für das map/reduce Problem

Eine andere ist die Zuweisung/Deallokation von virtuellen Maschinen. Das hängt von Ihrem Cloud-Anbieter und einigen anderen Dingen ab. Sie können einen Blick werfen auf jClouds

Answer 2

Es gibt Lösungen wie Hazelcast , Hadoop usw. Sie können sich diese Projekte ansehen.

Answer 3

Werfen Sie einen Blick auf Hadoop ein Framework, das im Grunde das Gleiche ermöglicht und die automatische Bereitstellung von Code im Cluster unterstützt.

Answer 4

Wenn Sie eine Echtzeitverarbeitung durchführen möchten, können Sie einen Blick auf Sturm . Auch Akka bietet eine nette Remote-Actor-API für Scala und Java.