Web Scraping mit Haskell

Question

Was ist der aktuelle Stand der Bibliotheken für das Scraping von Websites mit Haskell?

Ich versuche, mehr meiner schnellen, einmaligen Aufgaben in Haskell zu erledigen, um meinen Komfort mit der Sprache zu erhöhen.

In Python neige ich dazu, die ausgezeichnete PyQuery Bibliothek für diese. Gibt es etwas ähnlich Einfaches und Leichtes in Haskell? Ich habe mir Tag Soup angeschaut, und während der Parser selbst nett zu sein scheint, scheint das Durchlaufen von Seiten nicht so nett zu sein wie in anderen Sprachen.

Gibt es eine bessere Alternative?

Answer 1

http://hackage.haskell.org/package/shpider

Shpider ist eine Bibliothek zur Webautomatisierung für Haskell. Sie erlaubt es Ihnen, schnell Crawler zu schreiben, und für einfache Fälle ( wie das Verfolgen von Links) sogar ohne den Quelltext der Seite zu lesen.

Sie verfügt über nützliche Funktionen wie das Drehen relative Links von einer Seite in absolute Links, Optionen zur Autorisierung von Transaktionen nur auf einer bestimmten Domain zu autorisieren, und die Option, nur html herunterzuladen Dokumente herunterzuladen.

Es bietet auch eine schöne Syntax für Ausfüllen von Formularen.

Ein Beispiel:

 runShpider $ do
      download "http://apage.com"
      theForm : _ <- getFormsByAction "http://anotherpage.com"
      sendForm $ fillOutForm theForm $ pairs $ do
            "occupation" =: "unemployed Haskell programmer"
            "location" =: "mother's house"

(Edit in 2018 -- shpider ist heutzutage veraltet. https://hackage.haskell.org/package/scalpel könnte ein guter Ersatz sein)

Answer 2

Nach meinen Recherchen auf den Haskell-Mailinglisten scheint es, dass TagSoup die vorherrschende Wahl für das Parsen von Seiten ist. Zum Beispiel: http://www.haskell.org/pipermail/haskell-cafe/2008-August/045721.html

Was die anderen Aspekte des Web Scraping (wie Crawling, Spidering und Caching) betrifft, so habe ich folgende Informationen gesucht http://hackage.haskell.org/package/ nach diesen Stichwörtern gesucht, aber nichts Vielversprechendes gefunden. Ich habe sogar Pakete überflogen, in denen "http" erwähnt wird, aber mir ist nichts aufgefallen.

Anmerkung: Ich bin kein regelmäßiger Haskeller, daher hoffe ich, dass andere sich melden können, wenn ich etwas übersehen habe.

Answer 3

Obwohl ich noch ein Anfänger in Haskell bin, bin ich der festen Überzeugung, dass HTML-Parsing im Jahr 2012 mit CSS-Selektoren durchgeführt werden muss, und es scheint, dass die bisher empfohlenen Bibliotheken dieses Prinzip nicht verwenden.

Eine Möglichkeit ist HandsomeSoup, das auf HXT aufbaut:

http://egonschiele.github.com/HandsomeSoup/

http://codingtales.com/2012/04/25/scraping-html-with-handsomesoup-in-haskell

Diese Seite über HXT, auf der HandsomeSoup basiert, wird ebenfalls hilfreich sein (Sie benötigen getText oder deep getText):

http://adit.io/posts/2012-04-14-working_with_HTML_in_haskell.html

Eine andere Möglichkeit ist der Dom-Selektor:

http://hackage.haskell.org/package/dom-selector

Sie ist derzeit Alpha und ihre langfristige Instandhaltung könnte ein Problem darstellen. Der Vorteil von dom-selector ist, dass ich Unicode-Zeichen nicht mit HandsomeSoup zum Laufen bringen konnte. Mit dom-selector funktionierten sie von Anfang an.

Diese Frage hängt damit zusammen: Ist es möglich, Text oder ByteString auf HXT in Haskell zu verwenden?

dom-selector basiert auf html-conduit und xml-conduit, für die die Wartung gesichert scheint.

EDIT: Beachten Sie meine neuere Antwort zum linsenbasierten Parsing. Ich habe diese Antwort gelassen, da sie für sich genommen immer noch gut ist, aber ich persönlich würde jetzt lieber den anderen Ansatz verwenden.

Answer 4

Ich habe bereits eine andere Antwort auf diese Frage geschrieben, in der ich CSS-Selektoren-basiertes Parsing vorschlug, aber diese Antwort ist jetzt anderthalb Jahre alt, und heutzutage denke ich, dass Linsen ein besserer Ansatz in Haskell sein könnten. Im Endeffekt erhält man so etwas wie typsicher kompilierte Selektoren.

Ver diese reddit-Diskussion für eine Reihe von Optionen in dieser Richtung. Für den Fall, dass der Link verschwindet, kopiere ich die direkten Links:

• Taggy-Objektiv
• Hexpat-Objektiv
• xml-Objektiv die offenbar mit folgenden Elementen verwendet werden kann html-Leitung

Ich habe noch keine davon verwendet, aber wenn ich heute neuen Code zum Parsen von HTML schreiben würde, würde ich auf jeden Fall einen linsenbasierten Ansatz wählen.