Robots.txt prüfen & validieren
Kurze Antwort
Prüfen Sie Ihre robots.txt: die Regeln, die Sitemap-Zeile, ob eine Seite gecrawlt werden darf und welche KI-Crawler sie lesen dürfen.
Was es nicht leistet: Es liest die Regeln, wie sie geschrieben sind, und kann nicht sagen, ob ein Crawler sie befolgt; manche KI-Abrufer, die im Auftrag eines Nutzers handeln, ignorieren robots.txt womöglich, und eine Crawl-Sperre entfernt keine Seite aus den Suchergebnissen.
Was es macht
Ruft Ihre `/robots.txt` ab und parst jede Direktive – User-agent-Gruppen, Allow-/Disallow-Regeln, Sitemap und Crawl-delay. Prüft, ob die von Ihnen eingegebene URL erlaubt ist, unter Verwendung derselben Longest-Match-Priorität, die echte Crawler nutzen, und markiert ein pauschales `Disallow: /`, eine fehlende Sitemap-Direktive und eine übergroße Datei. Außerdem listet es die wichtigsten KI-Crawler und Steuerungs-Token auf, zeigt, ob jeder diese URL abrufen darf, und erklärt, wofür jeder gedacht ist: KI-Modelltraining, KI-Suchantworten oder das Öffnen einer Seite, wenn ein:e Nutzer:in danach fragt.
Warum es wichtig ist
Ein einziges versehentliches `Disallow: /` kann Suchmaschinen davon abhalten, eine ganze Website zu crawlen, und es passiert leicht aus Versehen aus einem Staging-Setup heraus. KI-Crawler werfen eine zweite Frage auf: Einen Trainings-Crawler zu blockieren, entfernt Sie nicht aus KI-Suchantworten, aber einen Such-Crawler zu blockieren kann das – es lohnt sich also zu wissen, welches Token was tut.
Wie es funktioniert
-
Die zu testende URL eingeben
-
Wir rufen `/robots.txt` ab und parsen jede Direktive
-
Prüfen, ob diese URL für Crawler im Allgemeinen und für jeden KI-Crawler erlaubt ist, unter Verwendung der Prioritätsregeln, die echte Crawler nutzen
-
Eine vollständige Website-Sperre, eine blockierte URL und eine fehlende Sitemap-Direktive markieren und jeden KI-Crawler erklären
Beispiel-Ein- und Ausgabe
url: https://rankproof.eu/tools
robots.txt sieht gut aus und sperrt diese Seite nicht. 100/100
HTTP-Status: 200 · Dateigröße: 5,3 KB · User-Agent-Gruppen: 53 · Crawl-Delay: Nicht festgelegt
robots.txt gefunden OK
Keine pauschale Sperre OK
Diese Seite ist crawlbar OK
Sitemap-Direktive vorhanden OK
Dateigröße unter 500KB OK
Gefundene Probleme (10):
Disallow: / für User-Agent „Bytespider“ gefunden — nur dieser Crawler ist von der gesamten Website ausgeschlossen, was häufig beabsichtigt ist.
Disallow: / für User-Agent „Diffbot“ gefunden — nur dieser Crawler ist von der gesamten Website ausgeschlossen, was häufig beabsichtigt ist.
…
KI-Crawler: KI-Crawler, die diese Seite lesen dürfen: 13 von 13
GPTBot Erlaubt OpenAI: sammelt Seiten für das Training von KI-Modellen.
OAI-SearchBot Erlaubt OpenAI: indexiert Seiten, damit die eigene KI-Suche sie anzeigen und zitieren kann.
ChatGPT-User Erlaubt OpenAI: ruft eine Seite ab, wenn ein Nutzer den Assistenten danach fragt. Laut Betreiber gilt robots.txt für diese Abrufe möglicherweise nicht.
ClaudeBot Erlaubt Anthropic: sammelt Seiten für das Training von KI-Modellen.
… So lesen Sie das Ergebnis
- HTTP-Status (200) · Dateigröße (5,3 KB)
- Nur ein 200 gilt als robots.txt-Datei. Jede andere Antwort wird als fehlende Datei gemeldet (25 Punkte), was bei einem 404 richtig ist: Crawler erlauben dann alles. Ein Serverfehler ist für Google etwas anderes: Es stoppt das Crawlen der Website für bis zu 12 Stunden und verlässt sich danach auf die zuletzt abgerufene Kopie — eine robots.txt, die mit 5xx antwortet, muss also schnell behoben werden. Dateien über 500 KB kosten 10 Punkte, da Crawler dort möglicherweise aufhören zu lesen.
- User-Agent-Gruppen (53) · Crawl-Delay (Nicht festgelegt)
- Wie vielen Crawler-Namen die Datei Regeln zuweist, und der Crawl-delay-Wert, falls einer gesetzt ist. Google ignoriert Crawl-delay; manche anderen Crawler halten sich daran.
- Diese Seite ist crawlbar · Keine pauschale Sperre
- Beide werden aus der Gruppe für alle Crawler (User-agent: *) gelesen, wobei die längste passende Regel gewinnt und bei Gleichstand Allow gegenüber Disallow gewinnt, wie RFC 9309 es vorgibt. Eine Regel, die die geprüfte Adresse blockiert, kostet 50 Punkte, eine, die die gesamte Website blockiert, 55 Punkte: Das sind die Fehler, die eine Website aus der Suche nehmen.
- Gefundene Probleme (10)
- Jeder Crawler-Name, der von der gesamten Website gesperrt ist, wird aufgeführt, kostet aber keine Punkte: Das Sperren eines namentlich genannten Scrapers ist meist beabsichtigt, wie im Beispiel. Eine fehlende Sitemap-Zeile wird ebenfalls aufgeführt und kostet 5 Punkte.
- KI-Crawler (13 von 13 dürfen diese Seite lesen)
- Für jeden KI-Crawler und jedes Steuer-Token wenden wir dessen eigene Gruppe an, wenn die Datei sie nennt, sonst die Gruppe für alle Crawler, und prüfen die eingegebene Adresse. Die Zeile darunter sagt, wofür er genutzt wird: Training, KI-Suche, das Abrufen einer Seite auf Nutzeranfrage, oder ein Steuer-Token. „Laut Betreiber gilt robots.txt für diese Abrufe möglicherweise nicht“ kennzeichnet Abrufer, die auf Anfrage eines Nutzers handeln.
Wer es nutzt
-
Technical SEO
Vor dem Launch die Produktions-robots.txt prüfen, damit eine "alles sperren"-Regel aus dem Staging nie live geht.
-
Website-Betreiber:in
Entscheiden, welche KI-Crawler erlaubt werden: KI-Suche-Crawler offen halten und gleichzeitig wählen, ob Ihre Seiten KI-Modelle trainieren dürfen.
-
Content-Manager:in
Wenn ein Bereich aus der Google Search Console verschwindet, zuerst prüfen, ob robots.txt ihn blockiert.
Häufige Probleme und ihre Lösung
-
Disallow: / für alle Crawler
Entfernen Sie es, oder schränken Sie es auf die Pfade ein, die wirklich draußen bleiben müssen. Es ist oft ein Überbleibsel einer Staging-Website; eine robots.txt-Regel kann eine Staging-Website ohnehin nicht schützen — verwenden Sie dort stattdessen ein Passwort.
-
Die Seite, die Sie indexieren möchten, ist gesperrt
Finden Sie die Regel, die auf ihre Adresse passt (ein breites Muster wie /*? oder eine Ordnerregel), und fügen Sie ein genaueres Allow hinzu oder schränken Sie das Disallow ein. Die längste passende Regel gewinnt, sodass ein präzises Allow ein kurzes Disallow überschreibt.
-
Ein namentlich genannter Crawler hat die Regeln verloren, die Sie für alle gesetzt haben
Ein Crawler mit eigener Gruppe liest nur diese Gruppe, nicht die Regeln unter User-agent: *. Wenn Sie eine Gruppe für einen Crawler hinzufügen, wiederholen Sie darin jedes Disallow, das er weiterhin braucht.
# every crawler: keep admin and cart out User-agent: * Disallow: /admin/ Disallow: /cart # a named crawler reads ONLY its own group, so repeat what it needs User-agent: GPTBot Disallow: /admin/ Disallow: /cart Disallow: /members/ Sitemap: https://example.com/sitemap-index.xml -
Keine Sitemap-Zeile
Fügen Sie eine Sitemap-Zeile mit der absoluten Adresse Ihrer Sitemap oder Ihres Sitemap-Index hinzu. Jeder Crawler, der robots.txt liest, findet sie dort — nicht nur die Suchmaschinen, bei denen Sie sie eingereicht haben.
# robots.txt Sitemap: https://example.com/sitemap-index.xml -
robots.txt verwendet, um eine Seite aus den Ergebnissen zu verbergen
Das Sperren des Crawlens hält eine Seite nicht aus der Suche heraus: Eine gesperrte Adresse kann trotzdem gelistet werden, wenn andere Seiten darauf verlinken, und Google kann ein noindex-Tag auf einer Seite nicht sehen, die es nicht crawlen darf. Erlauben Sie das Crawlen und fügen Sie stattdessen noindex hinzu.
<meta name="robots" content="noindex">
Häufig gestellte Fragen
- Was ist robots.txt?
- Eine reine Textdatei an Ihrer Domain-Root, die Crawlern sagt, welche URLs sie anfordern dürfen und welche nicht. Sie ist in RFC 9309 (2022) standardisiert.
- Kann ich KI-Crawler separat blockieren?
- Ja – jeder hat sein eigenes User-Agent-Token, etwa `GPTBot` oder `ClaudeBot`. Mehrere KI-Unternehmen betreiben getrennte Crawler für Modelltraining und für die Suche, sodass Sie das Training blockieren und trotzdem in deren KI-Suchantworten sichtbar bleiben können.
- Was ist Google-Extended?
- Ein Steuerungs-Token, kein eigener Crawler. Google crawlt so oder so mit seinen üblichen Crawlern; ein Disallow für `Google-Extended` sagt Google, Ihre Inhalte nicht für das Training von Gemini-Modellen oder zur Fundierung von Antworten in Gemini-Apps zu nutzen. Es hat keinen Einfluss auf die Google-Suche oder das Ranking.
- Halten sich alle KI-Crawler an robots.txt?
- Die großen KI-Unternehmen sagen, dass ihre Crawler das tun. Manche Abrufer, die auf Nutzeranfrage handeln, etwa ChatGPT-User und Perplexity-User, wenden robots.txt-Regeln möglicherweise nicht an, und der Bericht markiert diese.
- Was ist der Unterschied zwischen robots.txt und noindex?
- robots.txt verhindert das Crawlen. `noindex` erlaubt das Crawlen, verhindert aber die Indexierung. Sperren Sie eine Seite in robots.txt, kann Google ihr noindex-Tag nicht sehen – ein häufiger Fehler.
- Sollte ich eine Sitemap-Direktive einfügen?
- Ja – `Sitemap: https://example.com/sitemap.xml` hilft jedem Crawler, Ihre Sitemap zu finden, einschließlich Bing und anderer Suchmaschinen.
- Respektiert Google robots.txt immer?
- Fürs Crawlen ja. Aber eine blockierte URL kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken – ohne Snippet. Nutzen Sie noindex, um eine Seite ganz herauszuhalten.
Quellen
Die Dokumentation, auf der dieses Tool und die Erklärungen auf dieser Seite beruhen.
- RFC 9309: Robots Exclusion Protocol — RFC Editor
- How Google Interprets the robots.txt Specification — Google Crawling Infrastructure
- Robots.txt Introduction and Guide — Google Search Central
- Overview of OpenAI Crawlers — OpenAI