Wie speichert man Zeitreihen von 100 x 25 Hz über viele Jahre - Sql Server oder Zeitreihen-Datenbank

Question

Ich versuche, mögliche Methoden zur Speicherung von 100 Kanälen mit 25-Hz-Gleitkommadaten zu ermitteln. Das Ergebnis wird sein 78.840.000.000 Datenpunkte pro Jahr .

Idealerweise wären all diese Daten für Websites und Werkzeuge wie SQL Server Reporting Services effizient verfügbar. Wir sind uns bewusst, dass relationale Datenbanken für Zeitreihen dieser Größenordnung ungeeignet sind, haben aber noch keine überzeugende zeitreihenspezifische Datenbank gefunden.

Kernpunkte sind die Komprimierung für eine effiziente Speicherung sowie einfache und effiziente Abfragen, Berichte und Data Mining.

• Wie würden Sie mit diesen Daten umgehen?

• Gibt es Funktionen oder Tabellendesigns in Sql Server, die eine solche Menge von Zeitreihendaten verarbeiten können?

• Wenn nicht, gibt es irgendwelche 3rd-Party-Erweiterungen für Sql-Server, um effizient Mammut-Zeitreihen zu verarbeiten?

• Wenn nicht, gibt es Zeitreihendatenbanken, die auf die Verarbeitung solcher Daten spezialisiert sind und dennoch einen natürlichen Zugang über SQL, .Net und SQL Reporting Services bieten?

Danke!

Answer 1

Haben Sie eine Zeitreihendatenbank in Betracht gezogen, wie http://opentsdb.net ?

Answer 2

Haben Sie HBASE oder Open TSDB in Betracht gezogen. Sie können auch einen Blick auf Cassandra werfen

Answer 3

Wenn es sich nur um Fließkommadaten handelt, bieten TSDBs eine viel bessere Leistung. Die Algorithmen zur Komprimierung von Zeitreihen sind anders, daher erhalten Sie bessere Speicher- und Abfrageraten.