Kann MySQL Cluster eine Terabyte-Datenbank verarbeiten?

Question

Ich muss nach Lösungen für die Bereitstellung einer MySQL-Datenbank suchen, die Datenmengen im Terabyte-Bereich verarbeiten kann und hochverfügbar ist (fünf Neunen). Jede Datenbankzeile wird wahrscheinlich einen Zeitstempel und bis zu 30 Float-Werte enthalten. Die erwartete Arbeitslast beträgt bis zu 2500 Inserts/Sek. Die Abfragen werden wahrscheinlich weniger häufig erfolgen, könnten aber umfangreich sein (vielleicht 100 GB Daten), obwohl wahrscheinlich nur einzelne Tabellen betroffen sind.

Ich habe mir MySQL Cluster angesehen, da dies ihr HA-Angebot ist. Aufgrund des Datenvolumens müßte ich die plattenbasierte Speicherung nutzen. Realistischerweise denke ich, dass nur die Zeitstempel im Speicher gehalten werden könnten und alle anderen Daten auf der Festplatte gespeichert werden müssten.

Hat jemand Erfahrung mit der Verwendung von MySQL Cluster für eine Datenbank dieser Größenordnung? Ist das überhaupt praktikabel? Wie wirkt sich die plattenbasierte Speicherung auf die Leistung aus?

Ich bin auch offen für andere Vorschläge, wie man die gewünschte Verfügbarkeit für diese Datenmenge erreichen kann. Wäre es zum Beispiel besser, eine Bibliothek eines Drittanbieters zu verwenden wie Sequoia um das Clustering von Standard-MySQL-Instanzen zu handhaben? Oder eine einfachere Lösung, die auf MySQL-Replikation basiert?

Die einzige Bedingung ist, dass es sich um eine MySQL-basierte Lösung handeln muss. Ich glaube nicht, dass MySQL für die Daten, mit denen wir zu tun haben, der beste Weg ist, aber es ist eine harte Anforderung.

Answer 1

Was die Geschwindigkeit betrifft, so kann sie bewältigt werden. Was die Größe betrifft, so stellt sich nicht die Frage nach der Größe der Daten, sondern vielmehr nach der Größe des Indexes, da die Indizes vollständig in den Speicher passen müssen.

Ich würde gerne eine bessere Antwort geben, aber die Arbeit mit High-End-Datenbanken ist sehr aufgabenabhängig. Ich müsste viel mehr darüber wissen, was mit den Daten passiert, um weiterhelfen zu können.

Answer 2

Okay, ich a fait lesen Sie den Teil über mySQL als harte Anforderung.

Lassen Sie mich zunächst darauf hinweisen, dass die Arbeitslast, von der Sie sprechen - 2500 Einfügungen/Sekunde, seltene Abfragen, Abfragen, die wahrscheinlich Ergebnismengen von bis zu 10 Prozent des gesamten Datensatzes haben - für jedes relationale Datenbanksystem geradezu pessimal ist.

(Dies erinnert mich an ein Projekt vor langer Zeit, bei dem ich die harte Anforderung hatte, 100 Megabyte Programmdaten über eine RS-422-Leitung mit 9600 Baud (ebenfalls eine harte Anforderung) in weniger als 300 Sekunden (ebenfalls eine harte Anforderung) zu laden. Die Tatsache, dass 1 KByte/Sek × 300 Sekunden = 300 KByte, schien nicht zu kommunizieren).

Dann ist da noch der Teil über "enthalten hasta 30 schwimmt". Die Formulierung deutet zumindest darauf hin, dass die Anzahl der Stichproben pro Einfügung variabel ist, was wiederum auf einige Normalisierungsprobleme hindeutet - oder darauf, dass jede Zeile 30 Einträge breit sein muss und NULLs verwendet werden.

Aber abgesehen davon, okay, Sie sprechen von 300 KByte/Sekunde und 2500 TPS (vorausgesetzt, es handelt sich wirklich um eine Sequenz von nicht zusammenhängenden Samples). Diese Reihe von Benchmarks Zumindest liegt es nicht außerhalb des Bereiches des Möglichen.

Answer 3

Dieser Artikel ist sehr hilfreich, um herauszufinden, was eine große MySQL-Datenbank verlangsamen kann.

Answer 4

Probieren Sie vielleicht Hibernate Shards aus und lassen Sie MySQL auf 10 Knoten mit je 1/2 Terabyte laufen, so dass Sie dann 5 Terabyte handhaben können ;) gut über Ihrem Limit, denke ich?