Wie kann ich mit Perl scrapen?

Question

Ich muss einige Werte anzeigen, die in einer Website gespeichert sind, dafür muss ich die Website scrapen und den Inhalt aus der Tabelle abrufen. Irgendwelche Ideen?

Answer 1

Sie können auch dieses einfache Perl-Modul WEB::Scraper verwenden, das einfach zu verstehen ist und mir das Leben leicht macht. Folgen Sie diesem Beispiel für weitere Informationen.

http://teusje.wordpress.com/2010/05/02/web-scraping-with-perl/

Answer 2

Ich möchte keinen toten Faden wieder aufrollen, aber jeder, der über diesen Faden googelt, sollte auch nachsehen WWW::Scripter - Für Skripting-Websites, die Skripts enthalten

Viel Spaß bei der Ferndatenaggregation ;)

Answer 3

Werfen Sie einen Blick auf die magischen Web::Scraper ist es DIE Werkzeug für Web Scraping.

Answer 4

Ich benutze LWP::UserAgent für die meisten meiner Anforderungen an die Bildschirmauslese. Sie können das auch koppeln mit HTTP::Cookies wenn Sie Cookies-Unterstützung benötigen.

Hier ist ein einfaches Beispiel, wie man die Quelle erhält.

use LWP;
use HTTP::Cookies;
my $cookie_jar = HTTP::Cookies->new;
my $browser = LWP::UserAgent->new;
$browser->cookie_jar($cookie_jar);

$resp = $browser->get("https://www.stackoverflow.com");
if($resp->is_success) {
   # Play with your source here
   $source = $resp->content;
   $source =~ s/^.*<table>/<table>/i; # this is just an example 
   print $source;                     # not a solution to your problem.
}

Answer 5

Sehen Sie sich dieses kleine Beispiel für Web Scraping mit Perl an: Linktext