robots.txt-Generator
Kurze Antwort
Erstellt eine robots.txt-Datei mit gesperrten Pfaden, Sitemaps und einer Wahl für jeden KI-Crawler.
Jeden Pfad mit / beginnen, z. B. /admin/ oder /cart/. Verwenden Sie * als Platzhalter und $ für das Ende einer URL.
Google ignoriert Crawl-delay; Bing liest es aus.
KI-Crawler
Crawler für KI-Suche und -Antworten entscheiden, ob Ihre Seiten dort angezeigt oder zitiert werden können. Trainings-Crawler sammeln Seiten für das Modelltraining; sie zu blockieren entfernt Ihre Website nicht aus der KI-Suche.
KI-Crawler-Liste zuletzt geprüft am 17/09/2026.
Ihre robots.txt
User-agent: * Allow: /
Was die Datei auf der Startseite erlaubt
- GPTBotErlaubt
- OAI-SearchBotErlaubt
- ChatGPT-UserErlaubt
- ClaudeBotErlaubt
- Claude-SearchBotErlaubt
- Claude-UserErlaubt
- PerplexityBotErlaubt
- Perplexity-UserErlaubt
- Google-ExtendedErlaubt
- Applebot-ExtendedErlaubt
- meta-externalagentErlaubt
- AmazonbotErlaubt
- CCBotErlaubt
Speichern Sie die Datei als robots.txt im Stammverzeichnis Ihrer Domain (zum Beispiel https://example.com/robots.txt) und testen Sie dann die Live-Datei. Robots.txt-Analysator öffnen
Die Datei wird in Ihrem Browser erstellt.
Was es macht
Erstellt eine robots.txt-Datei mit den Pfaden, die für Crawler gesperrt werden sollen, Sitemap-Zeilen, einem optionalen Crawl-delay und einer Erlauben- oder Blockieren-Entscheidung für jeden bekannten KI-Crawler, gruppiert in KI-Suche, Modelltraining und andere KI-Nutzungen. Anschließend liest es die Datei erneut ein und zeigt, was jeder KI-Crawler abrufen darf.
Warum es wichtig ist
robots.txt teilt Crawlern mit, welche URLs sie abrufen dürfen. KI-Unternehmen verwenden getrennte Crawler für die Suche, für das Abrufen einer Seite, nach der ein Nutzer fragt, und für das Modelltraining, sodass Sie in der KI-Suche sichtbar bleiben können, während Sie das Training ablehnen. Einen Trainings-Crawler wie GPTBot zu blockieren entfernt eine Website nicht aus der ChatGPT-Suche. robots.txt ist eine Bitte, keine Zugriffskontrolle, und manche Abrufprogramme, die im Auftrag eines Nutzers handeln, geben an, dass sie sich möglicherweise nicht daran halten.
Wie es funktioniert
-
Wählen, ob das Crawling erlaubt oder die gesamte Website blockiert werden soll
-
Die Pfade, die für Crawler gesperrt werden sollen, und Ihre Sitemap-URLs auflisten
-
Jeden KI-Crawler erlauben oder blockieren, oder mit einer Vorlage beginnen
-
Die Datei kopieren oder herunterladen, als /robots.txt speichern und die Live-Datei mit dem Robots.txt-Analysator prüfen
Beispiel-Ein- und Ausgabe
Crawling: erlaubt · gesperrte Pfade: /admin/, /cart/ KI-Vorlage: KI-Suche erlauben, den Rest blockieren Sitemap: https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml
Wer es nutzt
-
Website-Betreiber
In den KI-Suchergebnissen bleiben und gleichzeitig das Modelltraining ablehnen.
-
SEO-Spezialist
Crawler von Warenkorb-, interner Such- und Admin-Seiten fernhalten, ohne den Rest der Website zu blockieren.
-
Webentwickler
Eine Datei erstellen, die für eine Staging-Website alles blockiert.
Häufig gestellte Fragen
Wo lege ich robots.txt ab?
Im Stammverzeichnis Ihrer Domain, zum Beispiel https://example.com/robots.txt. Jede Subdomain benötigt ihre eigene Datei.
Entfernt das Blockieren einer Seite in robots.txt sie aus Google?
Nein. robots.txt steuert das Crawling, nicht die Indexierung. Eine blockierte URL kann weiterhin in den Ergebnissen erscheinen, wenn andere Seiten darauf verlinken; verwenden Sie noindex oder einen Passwortschutz, um eine Seite auszuschließen.
Welche KI-Crawler kann ich steuern?
Die Crawler-Tokens, die OpenAI, Anthropic, Perplexity, Google, Apple, Meta und Amazon dokumentieren, sowie CCBot, der Crawler eines offenen Webarchivs. Betreiber fügen Tokens hinzu und ziehen sie zurück, daher wird die Liste regelmäßig geprüft; das Datum wird darunter angezeigt.
Warum erhalten erlaubte KI-Crawler keine eigene Gruppe?
Ein Crawler mit einer eigenen Gruppe ignoriert die Regeln für alle Crawler (User-agent: *). Erlaubte Crawler wegzulassen sorgt dafür, dass Ihre gesperrten Pfade auch für sie gelten.
Liest Google Crawl-delay?
Nein, Google ignoriert es. Bing liest es aus.