# robots.txt-Generator

https://rankproof.eu/de/tools/seo-robots-txt-generator

## Kurze Antwort

Erstellt eine robots.txt-Datei mit gesperrten Pfaden, Sitemaps und einer Wahl für jeden KI-Crawler.

## Was es macht

Erstellt eine robots.txt-Datei mit den Pfaden, die für Crawler gesperrt werden sollen, Sitemap-Zeilen, einem optionalen Crawl-delay und einer Erlauben- oder Blockieren-Entscheidung für jeden bekannten KI-Crawler, gruppiert in KI-Suche, Modelltraining und andere KI-Nutzungen. Anschließend liest es die Datei erneut ein und zeigt, was jeder KI-Crawler abrufen darf.

## Wie es funktioniert

1. Wählen, ob das Crawling erlaubt oder die gesamte Website blockiert werden soll
2. Die Pfade, die für Crawler gesperrt werden sollen, und Ihre Sitemap-URLs auflisten
3. Jeden KI-Crawler erlauben oder blockieren, oder mit einer Vorlage beginnen
4. Die Datei kopieren oder herunterladen, als /robots.txt speichern und die Live-Datei mit dem Robots.txt-Analysator prüfen

## Beispiel-Ein- und Ausgabe

EINGABE

```text
Crawling: erlaubt · gesperrte Pfade: /admin/, /cart/
KI-Vorlage: KI-Suche erlauben, den Rest blockieren
Sitemap: https://example.com/sitemap.xml
```

AUSGABE

```text
User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml
```

## Warum es wichtig ist

robots.txt teilt Crawlern mit, welche URLs sie abrufen dürfen. KI-Unternehmen verwenden getrennte Crawler für die Suche, für das Abrufen einer Seite, nach der ein Nutzer fragt, und für das Modelltraining, sodass Sie in der KI-Suche sichtbar bleiben können, während Sie das Training ablehnen. Einen Trainings-Crawler wie GPTBot zu blockieren entfernt eine Website nicht aus der ChatGPT-Suche. robots.txt ist eine Bitte, keine Zugriffskontrolle, und manche Abrufprogramme, die im Auftrag eines Nutzers handeln, geben an, dass sie sich möglicherweise nicht daran halten.

## Wer es nutzt

- **Website-Betreiber**: In den KI-Suchergebnissen bleiben und gleichzeitig das Modelltraining ablehnen.
- **SEO-Spezialist**: Crawler von Warenkorb-, interner Such- und Admin-Seiten fernhalten, ohne den Rest der Website zu blockieren.
- **Webentwickler**: Eine Datei erstellen, die für eine Staging-Website alles blockiert.

## Häufig gestellte Fragen

### Wo lege ich robots.txt ab?

Im Stammverzeichnis Ihrer Domain, zum Beispiel https://example.com/robots.txt. Jede Subdomain benötigt ihre eigene Datei.

### Entfernt das Blockieren einer Seite in robots.txt sie aus Google?

Nein. robots.txt steuert das Crawling, nicht die Indexierung. Eine blockierte URL kann weiterhin in den Ergebnissen erscheinen, wenn andere Seiten darauf verlinken; verwenden Sie noindex oder einen Passwortschutz, um eine Seite auszuschließen.

### Welche KI-Crawler kann ich steuern?

Die Crawler-Tokens, die OpenAI, Anthropic, Perplexity, Google, Apple, Meta und Amazon dokumentieren, sowie CCBot, der Crawler eines offenen Webarchivs. Betreiber fügen Tokens hinzu und ziehen sie zurück, daher wird die Liste regelmäßig geprüft; das Datum wird darunter angezeigt.

### Warum erhalten erlaubte KI-Crawler keine eigene Gruppe?

Ein Crawler mit einer eigenen Gruppe ignoriert die Regeln für alle Crawler (User-agent: *). Erlaubte Crawler wegzulassen sorgt dafür, dass Ihre gesperrten Pfade auch für sie gelten.

### Liest Google Crawl-delay?

Nein, Google ignoriert es. Bing liest es aus.

## Verwandte Tools in SEO-Analyse

- [Title- & Meta-Description-Prüfer](https://rankproof.eu/de/tools/seo-meta-title)
- [Überschriften-Checker](https://rankproof.eu/de/tools/seo-heading-tags)
- [Bild-Alt-Text-Prüfer](https://rankproof.eu/de/tools/seo-image-alt)
- [Canonical-URL-Prüfer](https://rankproof.eu/de/tools/seo-canonical-url)
- [Robots.txt-Analysator](https://rankproof.eu/de/tools/seo-robots-txt)
- [Sitemap-Prüfer](https://rankproof.eu/de/tools/seo-sitemap)