Wie kann ich mit Perl scrapen?

Question

Ich muss einige Werte anzeigen, die in einer Website gespeichert sind, dafür muss ich die Website scrapen und den Inhalt aus der Tabelle abrufen. Irgendwelche Ideen?

Answer 1

Wenn Sie mit jQuery vertraut sind, sollten Sie sich die folgenden Seiten ansehen pQuery was dies sehr einfach macht:

## print every <h2> tag in page
use pQuery;

pQuery("http://google.com/search?q=pquery")
    ->find("h2")
    ->each(sub {
        my $i = shift;
        print $i + 1, ") ", pQuery($_)->text, "\n";
    });

Außerdem gibt es HTML::DOM .

Was auch immer Sie tun, verwenden Sie dafür keine regulären Ausdrücke.

Answer 2

Ich habe verwendet HTML-Tabellenauszug in der Vergangenheit. Ich persönlich finde es etwas schwerfällig in der Anwendung, aber vielleicht habe ich das Objektmodell nicht gut verstanden. Normalerweise verwende ich diesen Teil des Handbuchs, um die Daten zu untersuchen:

 use HTML::TableExtract;
 $te = HTML::TableExtract->new();
 $te->parse($html_string);

     # Examine all matching tables
     foreach $ts ($te->tables) {
       print "Table (", join(',', $ts->coords), "):\n";
       foreach $row ($ts->rows) {
          print join(',', @$row), "\n";
       }
     }`

Answer 3

Obwohl ich dies im Allgemeinen mit LWP / LWP::Einfach ist das derzeit "bevorzugte" Modul für jede Art von Webpage Scraping in Perl WWW::Mechanisieren .

Answer 4

Wenn Sie mit XPath vertraut sind, können Sie auch HTML::TreeBuilder::XPath . Und wenn Sie es nicht sind... dann sollten Sie es sein ;--)

Answer 5

Ähnliche Stackoverflow-Fragen finden Sie unter....

• Wie kann ich URLs aus einer Webseite in Perl extrahieren
• Wie kann ich XML von einer Website extrahieren und in einer Datei mit Perl's LWP speichern?

Ich verwende gerne pQuery für Dinge wie diese jedoch Web::Scraper sieht sehr interessant aus.