Einen ganzen S3-Bucket herunterladen?

Question

Mir ist aufgefallen, dass es keine Möglichkeit zu geben scheint, eine ganze s3 Bucket über die AWS Management Console.

Gibt es eine einfache Möglichkeit, alles in einen meiner Eimer zu packen? Ich habe daran gedacht, den Root-Ordner öffentlich zu machen, mit wget um alles zu erfassen und es dann wieder privat zu machen, aber ich weiß nicht, ob es einen einfacheren Weg gibt.

Answer 1

Die Antwort von @Layke ist gut, aber wenn Sie eine Menge Daten haben und nicht ewig warten wollen, sollten Sie lesen " AWS CLI S3-Konfiguration ".

Die folgenden Befehle weisen die AWS CLI an, 1.000 Threads für die Ausführung von Aufträgen (jeweils eine kleine Datei oder ein Teil einer mehrteiligen Kopie) zu verwenden und 100.000 Aufträge vorauszusehen:

aws configure set default.s3.max_concurrent_requests 1000
aws configure set default.s3.max_queue_size 100000

Nachdem Sie diese ausgeführt haben, können Sie die einfache sync Befehl:

aws s3 sync s3://source-bucket/source-path s3://destination-bucket/destination-path

oder

aws s3 sync s3://source-bucket/source-path c:\my\local\data\path

Auf einem System mit 4 CPU-Kernen und 16 GB RAM stieg die Synchronisierungs-/Kopiergeschwindigkeit in Fällen wie dem meinen (3-50 GB Dateien) von etwa 9,5 MB/s auf 700+ MB/s, was einer Geschwindigkeitssteigerung um das 70-fache gegenüber der Standardkonfiguration entspricht.

Answer 2

100% funktioniert für mich, ich habe alle Dateien von aws s3 backet herunterladen.

1. installieren Sie aws cli (und wählen Sie Ihr Betriebssystem, folgen Sie den Schritten) https://docs.aws.amazon.com/cli/latest/userguide/install-cliv2.html

2. aws-Version prüfen: aws --version

3. den Befehl config ausführen: aws configure

4. aws s3 cp s3://yourbucketname your\local\path --recursive

z.B. ( Windows-Betriebssystem ): aws s3 cp s3://yourbucketname C:\aws-s3-backup\project-name --recursive

sehen Sie sich diesen Link an: https://www.edureka.co/community/32955/how-to-download-an-entire-bucket-from-s3-to-local-folder

Answer 3

Wenn Sie Visual Studio verwenden, laden Sie " AWS-Toolkit für Visual Studio ".

Nach der Installation gehen Sie zu Visual Studio - AWS Explorer - S3 - Ihr Bucket - Doppelklick

In diesem Fenster können Sie alle Dateien auswählen. Klicken Sie mit der rechten Maustaste und laden Sie die Dateien herunter.

Answer 4

Für Windows, S3-Browser ist der einfachste Weg, den ich gefunden habe. Es handelt sich um eine hervorragende Software, die für die nichtkommerzielle Nutzung kostenlos ist.

Answer 5

Verwenden Sie diesen Befehl mit dem AWS-CLI :

aws s3 cp s3://bucketname . --recursive