Umgang mit massiven speicherinternen Objekten in .NET

Question

Im Wesentlichen habe ich eine sehr große Liste, die wiederum relativ große Wörterbücher enthält.

Im Grunde habe ich also eine sehr große Speichersammlung.

Ich dann serialisieren diese Sammlung manuell zu XML, und senden Sie es über http. unnötig zu sagen, die XML ist zu groß, manchmal so groß ich eine OutOfMemory-Ausnahme erhalten, bevor sogar versuchen, es zu senden.

Wie würde ich in .NET vorgehen, um die potenzielle Speichernutzung zu berechnen? In diesem Fall muss ich zum Beispiel die XML-Datei in Stücke zerlegen, indem ich nur kleine Teile der Sammlung auf einmal verarbeite.

Wie berechne ich effizient die Größe der einzelnen "Chunks" im Handumdrehen? Ich möchte keine willkürliche Zahl festlegen, wie z. B. "100 Artikel gleichzeitig verarbeiten", Ich möchte ungefähr wissen, wie groß die einzelnen Stücke von Fall zu Fall sein sollten.

Prost

UPDATE

Obwohl @Jacob die beste Lösung für dieses spezielle Problem geliefert hat, ist die konzeptionelle Struktur der App selbst mangelhaft.

Die Lösung besteht in der Tat darin, einen Bruchteil Ihrer Nachricht auszuführen, um zu berechnen, wie groß die Nachricht möglicherweise sein wird, wenn Sie mit einer Sammlung arbeiten.

Sie senden dann jede Einheit in akzeptabler Größe, eine nach der anderen.

Aber das ist nur ein Hacken. Die eigentliche Lösung besteht darin, entweder einen Weg zu finden, keine großen Nachrichten zu übermitteln, oder ein völlig anderes Protokoll zu verwenden.

Es gibt eine interessanter Beitrag zu diesem Thema hier wenn Sie SOAP verwenden möchten, habe ich jedoch beschlossen, einen Weg zu finden, um so viele Daten zu senden.

Answer 1

Warum streamen Sie die Daten nicht einfach, so dass Sie die Konvertierung in XML im laufenden Betrieb vornehmen können, ohne eine große XML-Datei im Speicher zu haben?

Answer 2

Ich denke, dass Sie eher ein konzeptionelles Problem haben als alles andere. "Potenzieller Speicherverbrauch berechnen" steht im Widerspruch zu "Effiziente Berechnung der Größe der einzelnen Chunks". Der einzige Weg zu realmente um die Speichernutzung so genau zu ermitteln, dass Sie die angemessene Größe der Chunks vorhersagen können, müssen Sie eigentlich Ihre Bekehrung vornehmen.

Es klingt so, als ob es am besten wäre, die Sache schrittweise anzugehen - im Wesentlichen das, was diejenigen sagen, die Streaming-Objekte vorschlagen. Wenn Sie nicht tatsächliche Streaming nutzen können, werden Sie wahrscheinlich wollen Ihre Serialisierung zu strukturieren, so dass Sie eine konzeptionelle Einheit zu einer Zeit (d.h. ein Element in Ihrer Liste mit seinen dazugehörigen Wörterbuch Kinder) Fortschritte.

Answer 3

Wie schicken Sie es? Sie sollten dies über WCF tun, das Streaming beherrscht. Außerdem können Sie über die Konfiguration festlegen, ob Sie XML oder binäre Daten verwenden möchten.

Answer 4

Wenn es ein Problem ist, zu senden, ist es dann nicht auch ein Problem, zu empfangen? Das klingt, als ob Sie versuchen, ein halbes Problem zu lösen. XML ist für große Datenmengen ein absolutes No-Go.