Wie kann ich Daten in eine Webseite eingeben, um die resultierende Ausgabe mit Python zu scrapen?

Question

Ich bin mit BeautifulSoup und urllib2 vertraut, um Daten von einer Webseite abzurufen. Was aber, wenn ein Parameter in die Seite eingegeben werden muss, bevor das Ergebnis, das ich abrufen möchte, zurückgegeben wird?

Ich versuche, die geografische Entfernung zwischen zwei Adressen mithilfe dieser Website zu ermitteln: http://www.freemaptools.com/how-far-is-it-between.htm

Ich möchte die Seite aufrufen, zwei Adressen eingeben, auf "Anzeigen" klicken und dann die Werte für "Entfernung in der Luft" und "Entfernung im Landverkehr" extrahieren und in einem Wörterbuch speichern können.

Gibt es eine Möglichkeit, mit Python Daten in eine Webseite einzugeben?

Answer 1

Schauen Sie sich Tools wie mechanize oder scrape an:

• http://pypi.python.org/pypi/mechanize

• http://stockrt.github.com/p/emulating-a-browser-in-python-with-mechanize/

• http://www.ibm.com/developerworks/linux/library/l-python-mechanize-beautiful-soup/

• http://zesty.ca/scrape/

Packt Publishing hat auch einen Artikel zu diesem Thema:

• http://www.packtpub.com/article/web-scraping-with-python

Answer 2

Ja! Versuchen Sie mechanisieren für diese Art von Web-Screen-Scraping-Aufgaben.

Answer 3

Ich denke, Sie können auch Folgendes verwenden PySide /PyQt, weil sie einen Browser-Kern von qtwebkit haben, können Sie den Browser steuern, um Seiten zu öffnen, simulieren menschliche Aktionen (füllen, klicken...), dann scrapen Daten von Seiten. FMiner ist eine Web-Scraping-Software, die ich mit PySide entwickelt habe.

Oder Sie können versuchen, phantomjs, es ist eine einfache Bibliothek, um Browser zu steuern, aber nicht es ist javascript nicht Python-Sprache.

Answer 4

Zusätzlich zu den bereits gegebenen Antworten könnten Sie einfach eine Anfrage auf dieser Seite stellen. Mit Ihrem Browser können Sie jederzeit das Verhalten und die Aktionen des Netzwerks (unter Tools/Webentwickler-Tools) überprüfen, wenn Sie mit der Seite interagieren. Z.B.. http://www.freemaptools.com/ajax/getaandb.php?a=Florida_Usa&b=New%20York_Usa&c=6052 -> Abfrage, um die erwartete Ergebnisseite zu erhalten. Fordern Sie diese Seite an und scrapen Sie das gewünschte Feld. IMHO sind Seitenanfragen viel schneller als Screen Scraping (von Fall zu Fall).

Aber natürlich können Sie auch Screen Scraping/Browsersimulationen durchführen (Mechanize, Splitter ) und verwenden Sie Headless-Browser (PhantomJS usw.) oder den Browser-Treiber des gewünschten Browsers.

Answer 5

Die Abfrage ist möglicherweise gelöst worden.

Sie können verwenden Selenium WebDriver zu diesem Zweck. Eine Webseite kann mit Hilfe einer Programmiersprache bearbeitet werden. Alle Vorgänge können so ausgeführt werden, als ob ein menschlicher Benutzer auf die Webseite zugreifen würde.