Folgen Sie den Redirect-Links in Scrapy

Question

Wie kann ich das einstellen? Ich habe handle_httpstatus_list = [301, 302, 303] geschrieben, aber Scrapy folgt den neuen Links nicht, sondern fängt nur an, leere Dateien von Seiten zu speichern.

P.S. Englisch ist nicht meine Muttersprache. Entschuldigen Sie mich dafür.

Answer 1

Scrapy handelt standardmäßig Weiterleitungen, was bedeutet, dass das RedirectMiddleware in den DOWNLOADER_MIDDLEWARES-Einstellungen aktiviert ist und die REDIRECT_ENABLED-Einstellung auf True gesetzt ist.

Answer 2

Sie müssen auch dont_redirect = true in Ihrer Anfrage erwähnen, wie folgt:

meta = {'dont_redirect': True, "handle_httpstatus_list" : [301, 302, 303]}

Grüße