Ich möchte eine Liste von URLs, von der aus mein Crawler effizient mit dem Crawlen beginnen kann, so dass er einen maximalen Teil des Webs abdecken kann. Haben Sie eine andere Idee, um einen Anfangsindex für verschiedene Hosts zu erstellen? Ich danke Ihnen