2 Stimmen

Wie sollte die anfängliche Liste der URLs aussehen, damit ein Crawler seine Arbeit aufnehmen kann?

Ich möchte eine Liste von URLs, von der aus mein Crawler effizient mit dem Crawlen beginnen kann, so dass er einen maximalen Teil des Webs abdecken kann. Haben Sie eine andere Idee, um einen Anfangsindex für verschiedene Hosts zu erstellen? Ich danke Ihnen

CodeJaeger.com

CodeJaeger ist eine Gemeinschaft für Programmierer, die täglich Hilfe erhalten..
Wir haben viele Inhalte, und Sie können auch Ihre eigenen Fragen stellen oder die Fragen anderer Leute lösen.

Powered by:

X