Benötigt wird ein verteiltes System zum Nachschlagen von Schlüsselwerten

Question

Ich brauche eine Möglichkeit, Key-Value-Lookups über (potenziell) Hunderte von GB an Daten durchzuführen. Idealerweise etwas, das auf einer verteilten Hashtabelle basiert, die gut mit Java funktioniert. Es sollte fehlertolerant sein, und Open Source.

Der Speicher sollte beständig sein, würde aber idealerweise Daten im Speicher zwischenspeichern, um den Vorgang zu beschleunigen.

Es sollte in der Lage sein, gleichzeitige Lese- und Schreibvorgänge von mehreren Rechnern aus zu unterstützen (Lesevorgänge werden allerdings 100 Mal häufiger vorkommen). Der Zweck besteht im Wesentlichen darin, eine schnelle erste Abfrage von Benutzer-Metadaten für einen Webdienst durchzuführen.

Kann jemand etwas empfehlen?

Answer 1

OpenChord klingt vielversprechend; aber ich würde auch in Betracht ziehen BDB oder jede andere Nicht-SQL-Hashtabelle kann ganz einfach verteilt werden (zumindest wenn die Anzahl der Speicherknoten (fast) konstant ist), indem der Schlüssel auf dem Client gehasht wird, um den entsprechenden Server zu finden.

Answer 2

Open-Source-Cache-Lösungen in Java

Oracle-Kohärenz (früher: Tangosol)

JCache JSR

Answer 3

nmdb klingt, als wäre es genau das, was Sie brauchen. Verteilter, speicherinterner Cache mit persistenter Festplattenspeicherung. Aktuelle Backends sind qdbm, berkeley db, und (kürzlich hinzugefügt nach einer schnellen E-Mail an den Entwickler) Tokioter Kabinett Die Größe der Schlüssel/Werte ist zwar begrenzt, aber ich glaube, das kann aufgehoben werden, wenn Sie keine TICP-Unterstützung benötigen.

Answer 4

Versuchen Sie die verteilte Map-Struktur von Redisson basiert sie auf Redis Server. Mit der Redis-Cluster-Konfiguration können Sie Daten auf 1000 Server verteilen.

Beispiel für die Verwendung:

Redisson redisson = Redisson.create();

ConcurrentMap<String, SomeObject> map = redisson.getMap("anyMap");
map.put("123", new SomeObject());
map.putIfAbsent("323", new SomeObject());
map.remove("123");

...

redisson.shutdown();

Answer 5

DNS ist dazu in der Lage. Ich weiß nicht, wie groß jeder Ihrer Datensätze ist (8 GB mit tonnenweise kleinen Daten?), aber es könnte funktionieren.