Robots.txt einer Website prüfen und finden
So prüfen Sie, ob eine Website eine robots.txt-Datei hat
Eine robots.txt-Datei ist eine kleine Textdatei mit Anweisungen für Bots, die sich an diese halten. Wenn Sie die Datei prüfen, erfahren Sie, welche Pfade eine Website bestimmten Crawlern zugänglich machen oder vorenthalten möchte. Sie gibt jedoch nicht alle Einstellungen der Website preis und ist keine Sicherheitsbarriere.
Wenn Sie herausfinden möchten, ob eine Website eine robots.txt-Datei hat, prüfen Sie zunächst den genauen Ursprung der Website und sehen Sie sich anschließend die Serverantwort und den Inhalt der Datei an. So können Sie prüfen, ob eine Website eine robots.txt hat, ohne eine Datei auf einer Subdomain mit der eines anderen Ursprungs zu verwechseln. Eine Fehlermeldung im Browser bedeutet außerdem nicht immer, dass die Datei fehlt.
1. Was robots.txt aussagt – und was nicht
robots.txt enthält Regeln für automatisierte Crawler. Eine Regel kann einen regelkonformen Such-Bot beispielsweise auffordern, einen Pfad wie /private/nicht zu crawlen. Dabei handelt es sich um eine Bitte, nicht um eine Zugriffskontrolle: Besucher können die URL möglicherweise trotzdem aufrufen, und ein Bot kann die Anweisung ignorieren.
Die Datei garantiert auch nicht, dass eine blockierte Seite aus den Suchergebnissen herausgehalten wird. Eine Suchmaschine kann eine URL über Links an anderer Stelle erfahren und sie auflisten, ohne ihren Inhalt zu crawlen. Wenn eine Seite privat bleiben muss, sollten Sie sie mit einer tatsächlichen Zugriffskontrolle wie einer Authentifizierung schützen, statt sich auf robots.txt zu verlassen.
Betrachten Sie die Datei als öffentlich zugängliche Wegbeschreibung. Sie kann das Crawl-Verhalten erklären, aber nicht bestätigen, ob eine Seite erreichbar, privat oder indexiert ist. Prüfen Sie diese Fragen separat.
2. Die robots.txt-Datei einer Website am richtigen Ursprung finden
Bei einer Website unter https://example.com befindet sich die Datei üblicherweise unter https://example.com/robots.txt. Um die robots.txt einer Website zu finden, übernehmen Sie Protokoll und Hostnamen aus der Adressleiste und geben Sie einen abweichenden Port an, falls die Website einen verwendet. Der Pfad liegt im Stammverzeichnis dieses Ursprungs, nicht in einem Ordner wie /blog/.
Änderungen am Protokoll oder Hostnamen können zu unterschiedlichen Ergebnissen führen. http://example.com/robots.txt и https://example.com/robots.txt sind beispielsweise unterschiedliche Anfragen, selbst wenn eine zur anderen weiterleitet. Ebenso können www.example.com и example.com unterschiedlich konfiguriert sein.
Subdomains haben jeweils eigene Ursprünge. Eine Datei unter https://shop.example.com/robots.txt gilt nicht automatisch auch für https://example.com/ oder https://help.example.com/. Prüfen Sie den Host, der Sie interessiert – besonders dann, wenn ein Unternehmen seinen Shop, den Supportbereich und die Hauptwebsite auf getrennten Subdomains betreibt.
Für eine erste Prüfung können Sie die Adressleiste verwenden: Geben Sie die vollständige robots.txt-URL ein und prüfen Sie, was angezeigt wird. Eine Klartextansicht ist üblich, aber auch eine formatierte Browseransicht ist in Ordnung. Entscheidend ist, welche URL Sie aufgerufen haben und was der Server zurückgegeben hat.
3. Die Antwort prüfen, nicht nur die Browserseite
Eine erfolgreiche Antwort bedeutet in der Regel, dass der Server Inhalte für diese URL zurückgegeben hat. Viele Websites liefern einen HTTP-Status wie 200zurück. Mit einer gezielten Anfrage können Sie den robots.txt HTTP-Status überprüfen. Der angezeigte Text kann jedoch aus Regeln, einer leeren Datei oder sogar einer unerwarteten Seite bestehen. Berücksichtigen Sie daher neben dem Inhalt auch den Status, statt jede geladene Seite als Beleg für eine gültige robots.txt-Datei zu werten.
Eine „Nicht gefunden“-Antwort, oft mit dem Status 404, deutet darauf hin, dass der angeforderte Pfad zu diesem Zeitpunkt auf diesem Ursprung nicht existiert. Das ist ein hilfreicher Hinweis, aber prüfen Sie zuerst den Hostnamen und etwaige Weiterleitungen. Ein Tippfehler oder eine andere Subdomain kann dasselbe Ergebnis verursachen.
Bei Weiterleitungen ist etwas Vorsicht geboten. Die angeforderte URL kann zu einem anderen Host oder Pfad weiterleiten, und das Ziel kann Inhalte eines anderen Ursprungs zurückgeben. Notieren Sie sowohl die ursprüngliche URL als auch das endgültige Ziel, bevor Sie entscheiden, die Anweisungen welcher Website Sie gelesen haben.
Zugriffsfehler und Serverausfälle sind nicht dasselbe wie eine fehlende Datei. Eine Antwort wie 403 kann bedeuten, dass der Server die Anfrage abgelehnt hat; ein 5xx -Status kann auf ein vorübergehendes Serverproblem hinweisen. Auch eine Zeitüberschreitung oder ein Verbindungsfehler im Browser kann die Prüfung verhindern. Versuchen Sie es später erneut oder nutzen Sie eine zweite Methode, bevor Sie eine endgültige Schlussfolgerung ziehen.
Eine verwandte Aufgabe bei der Website-Prüfung: Lesen Sie auch, wie Sie prüfen, ob eine Website einen Hinweis auf Affiliate-Links veröffentlicht. Dabei geht es um eine sichtbare Erklärung, nicht um Anweisungen für Crawler.
4. robots.txt-Anweisungen für den betreffenden Crawler prüfen
Um robots.txt-Anweisungen zu prüfen, lesen Sie jede Regelgruppe im Zusammenhang. Eine Zeile mit User-agent benennt einen Crawler; die Zeilen Disallow und Allow geben an, welche Pfade dieser Crawler nicht crawlen soll oder crawlen darf. Die genaue Auslegung kann vom jeweiligen Crawler abhängen. Wenn es auf das Ergebnis ankommt, konsultieren Sie dessen Dokumentation.
Eine Gruppe mit User-agent: ExampleBotgilt beispielsweise möglicherweise nur für den ausdrücklich genannten Crawler. Eine separate Gruppe mit User-agent: * ist für Crawler gedacht, für die keine spezifischere Gruppe gilt. Gehen Sie nicht davon aus, dass eine Regel für einen Bot für jede Suchmaschine oder jeden anderen automatisierten Dienst gilt.
Auch die Pfade sind wichtig. Eine Regel für /images/ ist nicht dasselbe wie eine Regel für /, und eine Regel für /drafts/ deckt nicht unbedingt einen ähnlich benannten Pfad an anderer Stelle ab. Lesen Sie den vollständigen Pfad und die zugehörige Gruppe, bevor Sie die Regel auf eine URL anwenden.
Angenommen, eine Datei enthält unter einer allgemeinen User-Agent-Gruppe die Zeile Disallow: /private/. Diese Anweisung fordert passende Crawler auf, keine Pfade in diesem Verzeichnis zu crawlen. Sie hindert niemanden daran, eine bekannte URL aufzurufen, und beweist auch nicht, dass sich jeder Bot daran hält.
Manche Dateien enthalten Kommentare, Leerzeilen oder Regeln für bestimmte Dienste. Konzentrieren Sie sich auf die User-Agent-Gruppe, die für Ihre Frage relevant ist, und prüfen Sie in der Dokumentation des Crawlers, wie dieser mit sich überschneidenden oder ungewöhnlichen Anweisungen umgeht. Wenn Sie eine bestimmte Suchmaschine prüfen, ist deren Dokumentation die maßgebliche Quelle für das Verhalten dieser Suchmaschine.
5. Leere, fehlende und ungültige Dateien unterscheiden
Eine leere Antwort und eine fehlende Datei sind zwei unterschiedliche Ergebnisse. Gibt der Server eine erfolgreiche Antwort ohne sichtbaren Text zurück, kann die Datei vorhanden sein, aber keine Anweisungen enthalten. Bei einem „Nicht gefunden“-Status hat der Server an der angeforderten URL keine Datei gefunden. Erfassen Sie sowohl den Status als auch den Antwortinhalt, damit Sie diese Fälle nicht miteinander verwechseln.
Unerwartete Inhalte sollten Sie genauer prüfen. Eine Seite mit einer allgemeinen Fehlermeldung der Website, einer Anmeldemaske oder HTML-Code kann darauf hindeuten, dass die Anfrage statt einer normalen robots.txt-Datei eine Ausweichseite erreicht hat. Die URL kann erfolgreich geladen werden und trotzdem Inhalte liefern, die als Crawler-Anweisungen nicht brauchbar sind.
Über fehlerhafte oder unbekannte Zeilen sollten Sie nicht spekulieren. Speichern Sie die genaue Antwort und vergleichen Sie sie mit der Dokumentation des Crawlers, den Sie prüfen. Wenn sich die Datei zwischen den Prüfungen ändert, notieren Sie den Zeitpunkt. Eine spätere Antwort kann eine korrigierte Version wiedergeben und nicht denselben Inhalt wie zuvor.
6. Ergebnisse mit einer zweiten Methode überprüfen
Wenn das Ergebnis im Browser unklar ist, stellen Sie eine Anfrage über die Kommandozeile. Mit curl -i https://example.com/robots.txt lassen sich beispielsweise die Antwort-Header und der zurückgegebene Inhalt in einer Anfrage anzeigen. Ersetzen Sie die Beispieladresse durch den genauen Ursprung, den Sie prüfen, und geben Sie bei Bedarf die richtige Subdomain und den Port an.
Eine weitere Möglichkeit sind die Entwicklertools des Browsers. Öffnen Sie den Tab „Netzwerk“, laden Sie die robots.txt-URL und wählen Sie die Anfrage aus, um Status, Header und Antwortinhalt zu prüfen. Das ist hilfreich, wenn der Browser eine Weiterleitung oder eine formatierte Seite anzeigt, ohne das endgültige Ziel deutlich zu machen.
Wenn sich die Methoden widersprechen, vergleichen Sie die genaue URL, den Zeitpunkt, den Status, die Weiterleitungen und den Inhalt. Eine Anfrage über die Kommandozeile und eine Browseranfrage können Weiterleitungen unterschiedlich behandeln oder auf ein vorübergehendes Serverproblem stoßen. Wenn ein Unternehmens-Proxy, VPN oder eine Browser-Erweiterung im Spiel ist, testen Sie gegebenenfalls ohne diese Hilfsmittel. Eine veränderte Antwort kann auf einen zwischengeschalteten Dienst statt auf die Website selbst hindeuten.
Ein weiteres Beispiel für eine Website-Prüfung: So prüfen Sie, ob eine Websiteeinen Urheberrechtshinweis anzeigt. Verwechseln Sie das nicht mit robots.txt: Das eine ist eine Erklärung der Website für Leser, das andere eine Datei für Crawler.
7. Umfang und Grenzen der Prüfung festhalten
Notieren Sie die genaue robots.txt-URL, Datum und Uhrzeit der Anfrage, den HTTP-Status, ein etwaiges Weiterleitungsziel und den angezeigten Inhalt. Wenn Sie eine bestimmte Regelgruppe auslegen, halten Sie auch den betreffenden Crawler oder User-Agent fest. So lässt sich die Prüfung wiederholen, falls sich die Website ändert.
Halten Sie Ihre Schlussfolgerung eng gefasst. Eine erfolgreiche Antwort zeigt, was der Server zu einem bestimmten Zeitpunkt für einen Ursprung zurückgegeben hat. Sie beweist nicht, dass eine Seite indexiert oder für jeden Besucher zugänglich ist oder von allen Crawlern blockiert wird. Eine Antwort, dass die Datei fehlt, gilt für die angeforderte URL und nicht automatisch für jede Subdomain oder Protokollvariante.
robots.txt kann sich jederzeit ändern. Wenn eine Entscheidung von den aktuellen Regeln abhängt, prüfen Sie den genauen Ursprung erneut und speichern Sie die neue Antwort, statt sich auf eine ältere Kopie zu verlassen.
