Erfahrung mit Hadoop?

Question

Hat jemand von Ihnen Hadoop ausprobiert? Kann es ohne das dazugehörige verteilte Dateisystem in einer Share-nothing-Architektur verwendet werden? Würde das Sinn machen?

Ich interessiere mich auch für alle Leistungsergebnisse, die Sie haben...

Answer 1

Ja, Hadoop kann sehr gut ohne HDFS verwendet werden. HDFS ist nur ein Standardspeicher für Hadoop. Sie können HDFS durch jeden anderen Speicher wie Datenbanken ersetzen. HadoopDB ist eine Erweiterung von Hadoop, die Datenbanken anstelle von HDFS als Datenquelle verwendet. Googeln Sie es, Sie werden es leicht finden.

Answer 2

Wenn Sie gerade erst anfangen, können Sie zunächst CDH4 herunterladen und ausführen. Sie können es einfach in einer lokalen virtuellen Maschine installieren und im "Pseudo-Distributed-Modus" ausführen, der dem Betrieb in einem echten Cluster sehr nahe kommt.

Answer 3

Ja, Sie können ein lokales Dateisystem verwenden, indem Sie file:// verwenden, während Sie die Eingabedatei usw. angeben, und das würde auch mit kleinen Datensätzen funktionieren, aber die eigentliche Leistung von Hadoop basiert auf einem verteilten und gemeinsamen Mechanismus. Diese Datenmenge kann nicht von einer einzelnen lokalen Maschine verarbeitet werden, und selbst wenn dies der Fall ist, dauert es sehr lange, bis die Arbeit abgeschlossen ist. Da sich die Eingabedatei an einem gemeinsamen Speicherort (HDFS) befindet, können mehrere Mapper sie gleichzeitig lesen, was die Zeit bis zur Fertigstellung der Arbeit verkürzt. Kurz gesagt: Sie können es mit einem lokalen Dateisystem verwenden, aber um die Geschäftsanforderungen zu erfüllen, sollten Sie es mit einem gemeinsamen Dateisystem verwenden.

Answer 4

Großartige theoretische Antworten oben.

Um Ihr Hadoop-Dateisystem in ein lokales zu ändern, können Sie es in der Konfigurationsdatei "core-site.xml" wie unten für Hadoop-Versionen 2.x.x ändern.

 <property>
    <name>fs.defaultFS</name>
    <value>file:///</value>
  </property>

für Hadoop-Versionen 1.x.x.

 <property>
    <name>fs.default.name</name>
    <value>file:///</value>
  </property>