Wie kann ich eine Datei über HTTP herunterladen?

Question

Ich habe ein kleines Dienstprogramm, mit dem ich eine MP3-Datei nach einem bestimmten Zeitplan von einer Website herunterlade und dann eine Podcast-XML-Datei erstelle/aktualisiere, die ich zu iTunes hinzugefügt habe.

Die Textverarbeitung zur Erstellung/Aktualisierung der XML-Datei ist in Python geschrieben. Ich verwende jedoch wget innerhalb eines Windows .bat Datei, um die eigentliche MP3-Datei herunterzuladen. Ich würde es vorziehen, das gesamte Dienstprogramm in Python zu schreiben.

Ich hatte Mühe, eine Möglichkeit zu finden, die Datei in Python herunterzuladen, weshalb ich mich auf die Verwendung von wget .

Wie lade ich also die Datei mit Python herunter?

Answer 1

Eine weitere, die urlretrieve :

import urllib.request
urllib.request.urlretrieve("http://www.example.com/songs/mp3.mp3", "mp3.mp3")

(für Python 2 verwenden Sie import urllib y urllib.urlretrieve )

Ein weiteres Beispiel mit einem "Fortschrittsbalken".

import urllib2

url = "http://download.thinkbroadband.com/10MB.zip"

file_name = url.split('/')[-1]
u = urllib2.urlopen(url)
f = open(file_name, 'wb')
meta = u.info()
file_size = int(meta.getheaders("Content-Length")[0])
print "Downloading: %s Bytes: %s" % (file_name, file_size)

file_size_dl = 0
block_sz = 8192
while True:
    buffer = u.read(block_sz)
    if not buffer:
        break

    file_size_dl += len(buffer)
    f.write(buffer)
    status = r"%10d  [%3.2f%%]" % (file_size_dl, file_size_dl * 100. / file_size)
    status = status + chr(8)*(len(status)+1)
    print status,

f.close()

Answer 2

Utilisez urllib.request.urlopen() :

import urllib.request
with urllib.request.urlopen('http://www.example.com/') as f:
    html = f.read().decode('utf-8')

Dies ist die einfachste Art, die Bibliothek zu verwenden, ohne jegliche Fehlerbehandlung. Sie können auch komplexere Dinge wie das Ändern von Kopfzeilen tun.

Unter Python 2 befindet sich die Methode in urllib2 :

import urllib2
response = urllib2.urlopen('http://www.example.com/')
html = response.read()

Answer 3

Verwenden Sie im Jahr 2012 die python anfragen bibliothek

>>> import requests
>>> 
>>> url = "http://download.thinkbroadband.com/10MB.zip"
>>> r = requests.get(url)
>>> print len(r.content)
10485760

Sie können pip install requests um es zu bekommen.

Requests hat viele Vorteile gegenüber den Alternativen, da die API viel einfacher ist. Dies gilt insbesondere, wenn Sie eine Authentifizierung vornehmen müssen. urllib und urllib2 sind in diesem Fall ziemlich unintuitiv und mühsam.

---

2015-12-30

Der Fortschrittsbalken wird bewundert. Das ist cool, klar. Es gibt inzwischen mehrere Standardlösungen, darunter tqdm :

from tqdm import tqdm
import requests

url = "http://download.thinkbroadband.com/10MB.zip"
response = requests.get(url, stream=True)

with open("10MB", "wb") as handle:
    for data in tqdm(response.iter_content()):
        handle.write(data)

Dies ist im Wesentlichen die Umsetzung, die @kvance vor 30 Monaten beschrieben hat.

Answer 4

import urllib2
mp3file = urllib2.urlopen("http://www.example.com/songs/mp3.mp3")
with open('test.mp3','wb') as output:
  output.write(mp3file.read())

Le site wb en open('test.mp3','wb') öffnet eine Datei (und löscht eine vorhandene Datei) im Binärmodus, so dass Sie damit Daten statt nur Text speichern können.

Answer 5

Python 3

• urllib.request.urlopen

  import urllib.request
  response = urllib.request.urlopen('http://www.example.com/')
  html = response.read()

• urllib.request.urlretrieve

  import urllib.request
  urllib.request.urlretrieve('http://www.example.com/songs/mp3.mp3', 'mp3.mp3')

  Nota: In der Dokumentation heißt es dazu, urllib.request.urlretrieve ist eine "veraltete Schnittstelle" und "könnte in Zukunft veraltet sein" (danke gerrit )

Python 2

• urllib2.urlopen (Dank Corey )

  import urllib2
  response = urllib2.urlopen('http://www.example.com/')
  html = response.read()

• urllib.urlretrieve (Dank PabloG )

  import urllib
  urllib.urlretrieve('http://www.example.com/songs/mp3.mp3', 'mp3.mp3')