Ich habe meine robots.txt-Datei schon vor langer Zeit an Google geschickt, und sie meldet mir immer noch, dass ich die Syntax der ersten Zeile nicht verstanden habe.
Nachdem ich gegoogelt habe, ist das häufigste Problem, dass Google ein '?' am Anfang der Zeile hinzufügt, aber das tut es bei mir nicht.
die Url zur robots.txt lautet
www.leisurepursuits.co.uk/robots.txt
Der Fehler ist:
Zeile 1: Benutzer-Agent: * Syntax nicht verstanden
Dieser Fehler tritt auf, weil das erwartete Format der robots.txt-Datei reiner, in UTF-8 kodierter Text ist. Die Datei besteht aus Datensätzen (Zeilen), die durch CR, CR/LF oder LF getrennt sind.
Wenn eine Zeichenkodierung keine Untermenge von UTF-8 ist, wird Ihre robots.txt-Datei nicht korrekt analysiert.
Überprüfen Sie zunächst Ihre robots.txt-Url in http://www.asymptoticdesign.co.uk/cgi-bin/check-url.pl indem Sie die zweite Option "Quelle anzeigen" wählen und sehen, ob sie erfolgreich antwortet oder nicht.
Laden Sie nun Ihre robots.txt-Datei erneut hoch. Es wird kein Fehler angezeigt, wie zuvor gezeigt.
CodeJaeger ist eine Gemeinschaft für Programmierer, die täglich Hilfe erhalten..
Wir haben viele Inhalte, und Sie können auch Ihre eigenen Fragen stellen oder die Fragen anderer Leute lösen.
