Was sind die Unterschiede zwischen den Modulen urllib, urllib2, urllib3 und requests?

Question

Was sind in Python die Unterschiede zwischen dem urllib , urllib2 , urllib3 y requests Module? Warum sind es drei? Sie scheinen das Gleiche zu tun...

Answer 1

Ich weiß, dass es schon gesagt wurde, aber ich empfehle dringend die requests Python-Paket.

Wenn Sie andere Sprachen als Python verwendet haben, denken Sie wahrscheinlich urllib y urllib2 sind einfach zu bedienen, enthalten nicht viel Code und sind sehr leistungsfähig, so dachte ich früher. Aber die requests Paket ist so unglaublich nützlich und kurz, dass jeder es benutzen sollte.

Erstens unterstützt es eine vollständig restful API und ist so einfach wie:

import requests

resp = requests.get('http://www.mywebsite.com/user')
resp = requests.post('http://www.mywebsite.com/user')
resp = requests.put('http://www.mywebsite.com/user/put')
resp = requests.delete('http://www.mywebsite.com/user/delete')

Egal ob GET / POST, Sie müssen nie wieder Parameter kodieren, sondern nehmen einfach ein Wörterbuch als Argument und sind startklar:

userdata = {"firstname": "John", "lastname": "Doe", "password": "jdoe123"}
resp = requests.post('http://www.mywebsite.com/user', data=userdata)

Außerdem hat es sogar einen eingebauten JSON-Decoder (auch hier weiß ich json.loads() gibt es nicht mehr viel zu schreiben, aber das ist sicher praktisch):

resp.json()

Wenn Ihre Antwortdaten nur Text sind, verwenden Sie:

resp.text

Dies ist nur die Spitze des Eisbergs. Dies ist die Liste der Funktionen auf der Antragsseite:

• Internationale Domains und URLs
• Keep-Alive & Verbindungspooling
• Sitzungen mit Cookie-Persistenz
• Browser-ähnliche SSL-Überprüfung
• Basis-/Digest-Authentifizierung
• Elegante Schlüssel/Wert-Cookies
• Automatische Dekomprimierung
• Unicode-Antwort-Körper
• Mehrteilige Dateiuploads
• Zeitüberschreitungen bei Verbindungen
• .netrc-Unterstützung
• Posten auflisten
• Python 2.7, 3.6-3.9
• Thread-sicher.

Answer 2

So verstehe ich die Beziehungen zwischen den verschiedenen "urllibs":

In der Python 2-Standardbibliothek gibt es zwei HTTP-Bibliotheken nebeneinander. Trotz des ähnlichen Namens sind sie nicht miteinander verwandt: Sie haben ein anderes Design und eine andere Implementierung.

• urllib war der ursprüngliche Python-HTTP-Client, der der Standardbibliothek in Python 1.2 . Die frühere Dokumentation für urllib finden Sie in Python 1.4 .

• urllib2 war ein leistungsfähigerer HTTP-Client, hinzugefügt in Python 1.6 die als Ersatz für die urllib :

  urllib2 - neue und verbesserte, aber inkompatible Version von urllib (noch experimentell).

  Frühere Dokumentation für urllib2 finden Sie in Python 2.1 .

Die Python 3 Standardbibliothek hat eine 新 urllib das eine zusammengeführte/umgestaltete/umgeschriebene Version der älteren Module ist.

urllib3 ist ein Drittanbieter-Paket (d.h. nicht in der Standardbibliothek von CPython). Trotz des Namens hat es nichts mit den Paketen der Standardbibliothek zu tun, und es ist nicht beabsichtigt, es in Zukunft in die Standardbibliothek aufzunehmen.

Endlich, requests verwendet intern urllib3 aber sie zielt auf eine leichter zu verwendende API ab.

Answer 3

Urllib2 bietet einige zusätzliche Funktionen, nämlich die urlopen() Funktion können Sie Header angeben (normalerweise hätten Sie in der Vergangenheit httplib verwenden müssen, was sehr viel ausführlicher ist). Noch wichtiger ist jedoch, dass urllib2 die Funktion Request Klasse, die einen deklarativen Ansatz für die Durchführung einer Anfrage ermöglicht:

r = Request(url='http://www.mysite.com')
r.add_header('User-Agent', 'awesome fetcher')
r.add_data(urllib.urlencode({'foo': 'bar'})
response = urlopen(r)

Beachten Sie, dass urlencode() ist nur in urllib, nicht in urllib2.

Es gibt auch Handler für die Implementierung einer erweiterten URL-Unterstützung in urllib2. Die kurze Antwort ist, dass Sie, sofern Sie nicht mit Legacy-Code arbeiten, wahrscheinlich den URL-Opener von urllib2 verwenden möchten, aber Sie müssen immer noch in urllib für einige der Utility-Funktionen importieren.

Bonus-Antwort Mit Google App Engine können Sie httplib, urllib oder urllib2 verwenden, aber alle sind nur Wrapper für die URL-Fetch-API von Google. Das heißt, Sie unterliegen immer noch den gleichen Einschränkungen wie Ports, Protokolle und die Länge der zulässigen Antwort. Sie können den Kern der Bibliotheken jedoch so verwenden, wie Sie es für das Abrufen von HTTP-URLs erwarten würden.

Answer 4

urllib y urllib2 sind beides Python-Module, die sich mit URL-Anfragen befassen, aber unterschiedliche Funktionalitäten bieten.

1) urllib2 kann ein Request-Objekt akzeptieren, um die Header für eine URL-Anfrage zu setzen, urllib akzeptiert nur eine URL.

2) urllib bietet die urlencode Methode, die für die Generierung von GET-Abfragezeichenfolgen verwendet wird, verfügt urllib2 nicht über eine solche Funktion. Dies ist einer der Gründe, warum urllib oft zusammen mit urllib2 verwendet wird.

Anfragen an - Requests" ist eine einfache, benutzerfreundliche HTTP-Bibliothek, die in Python geschrieben wurde.

1) Python Requests kodiert die Parameter automatisch, so dass Sie sie als einfache Argumente übergeben können, anders als im Fall von urllib, wo Sie die Methode urllib.encode() um die Parameter zu kodieren, bevor sie übergeben werden.

2) Es dekodiert die Antwort automatisch in Unicode.

3) Requests hat auch eine weitaus bequemere Fehlerbehandlung: Wenn die Authentifizierung fehlschlägt, würde urllib2 einen urllib2.URLError auslösen, während Requests wie erwartet ein normales Antwortobjekt zurückgibt. Alles, was Sie tun müssen, um zu sehen, ob die Anfrage erfolgreich war, ist ein Boolean Antwort.ok

Answer 5

Nur um die vorhandenen Antworten zu ergänzen: Ich sehe niemanden, der erwähnt, dass Python Requests keine native Bibliothek ist. Wenn Sie mit dem Hinzufügen von Abhängigkeiten in Ordnung sind, dann ist Requests in Ordnung. Wenn Sie jedoch versuchen, das Hinzufügen von Abhängigkeiten zu vermeiden, ist urllib eine native Python-Bibliothek, die Ihnen bereits zur Verfügung steht.