Große Datenmengen im asp.net an den Client exportieren

Question

Ich muss eine große Menge an Daten (~100 MB) aus einer SQL-Tabelle über das Web an einen Benutzer exportieren. Was wäre die beste Lösung dafür? Ein Gedanke war, die Daten in einen Ordner auf dem DB-Server zu exportieren, sie zu komprimieren (auf irgendeine Weise) und dann einen Download-Link für den Benutzer bereitzustellen. Gibt es noch andere Methoden, um dies zu tun? Können wir Daten auch innerhalb des SQL-Servers komprimieren?

Alle Ansätze sind willkommen.

Answer 1

Ich würde die Datenbank nicht blockieren, während der Benutzer versucht, 100 MB herunterzuladen, selbst für einen Benutzer mit hoher Geschwindigkeit. Wenn der Benutzer die Datei anfordert, soll er eine E-Mail-Adresse angeben. Dann rufen Sie einen asynchronen Prozess auf, um die Daten abzurufen, sie in eine temporäre Datei zu schreiben (schließlich möchten wir nicht mehr als 100 MB im Speicher haben), die temporäre Datei an einen Speicherort zu zippen und dem Benutzer dann eine E-Mail mit einem Link zum Herunterladen der Datei zu senden.

Answer 2

Sie können auf eine Seitenanforderung mit einer Datei antworten:

Response.AddHeader("Content-Disposition", 
    "attachment; filename=yourfile.csv");
Response.ContentType = "text/plain";

Stellen Sie sicher, dass das Puffern deaktiviert ist, damit IIS den ersten Teil der Datei senden kann, während Sie den zweiten Teil erstellen:

Response.BufferOutput = false;

Danach können Sie mit dem Schreiben der Datei beginnen:

Response.Write("field1,field2,field3\r\n");

Wenn die Datei vollständig geschrieben ist, beenden Sie die Antwort, damit ASP.NET keine Webseite an Ihre Datei anhängt:

Response.End();

Auf diese Weise müssen Sie keine Dateien auf Ihren Webservern schreiben, sondern erstellen die Dateien im Speicher und senden sie an Ihre Benutzer.

Wenn eine Komprimierung erforderlich ist, können Sie auf dieselbe Weise eine ZIP-Datei schreiben. Dies ist eine gute kostenlose Bibliothek zum Erstellen von ZIP-Dateien.

Answer 3

Der Download-Link ist eine vollkommen gültige und vernünftige Lösung. Eine andere wäre, den Benutzer automatisch zu dieser Datei umzuleiten, damit er nicht auf einen Link klicken muss. Es hängt wirklich von Ihrem Workflow und der Benutzeroberfläche ab.

Ich würde davon abraten, die Kompression im SQL Server zu implementieren. Schauen Sie stattdessen die DotNetZip-Bibliothek an (oder System.IO.Compression, wenn Sie denken, dass Ihre Benutzer die Fähigkeit haben, gzip-Archive zu entpacken) und implementieren Sie die Kompression innerhalb der Webanwendung.

Answer 4

Wenn XML in Ordnung ist, wäre ein Ansatz, die Daten "FOR XML" wie folgt auszuwählen: http://www.sqljunkies.ddj.com/Article/296D1B56-8BDD-4236-808F-E62CC1908C4E.scuk

Und dann geben Sie das Roh-XML direkt an den Browser aus als Content-Type: text/xml. Stellen Sie auch sicher, dass die Gzip-Komprimierung auf Ihrem Webserver für Dateien mit XML-Erweiterungen eingerichtet ist. http://www.microsoft.com/technet/prodtechnol/WindowsServer2003/Library/IIS/502ef631-3695-4616-b268-cbe7cf1351ce.mspx?mfr=true

Dadurch wird die Größe der XML-Datei beim Transfer auf 1/3 oder vielleicht 1/4 reduziert. Dies wäre nicht die Leistungsstärkste Option aufgrund des inhärenten Platzverschwendungs in XML-Dateien, aber vieles hängt davon ab, in welchem Format Sie letztendlich suchen.

Eine weitere Option wäre die Verwendung der kostenlosen CSharpZipLib zum Komprimieren des XML (oder eines anderen gewünschten Formats) in eine Zip-Datei, die der Benutzer herunterladen würde. In diesem Zusammenhang sollten Sie, wenn dies etwas ist, das häufig verwendet wird, in das Caching und das Speichern der Zip-Datei auf dem Webserver mit einer Art von Ablaufdatum schauen, sodass sie nicht für jede einzelne Anfrage neu erstellt wird.

Answer 5

Dein Ansatz funktioniert gut. SSIS + 7zip könnte nützlich sein, um den Prozess zu automatisieren, wenn du ihn öfter als ein paar Mal durchführen musst.