Wie kann man Milliarden von Seiten crawlen?

Question

Ist es möglich, Milliarden von Seiten auf einem einzigen Server zu crawlen?

Answer 1

Hmm.. wenn Sie 1 Seite pro Sekunde "crawlen" können, können Sie insgesamt 86400 Seiten pro Tag (11574.074 Tage benötigt, um Ihre 1. Milliarde zu beenden, verwenden Sie diese, um die benötigte Zeit nach Ihrer Seite pro Sekunde Geschwindigkeit zu berechnen) Geduld ist gefragt und natürlich Speicherplatz..