KI-Crawler-Sperren auf EU-Websites
Wie beliebte nationale Websites in jedem EU-Land KI-Such- und Trainings-Crawler in der robots.txt behandeln und wie viele eine llms.txt veröffentlichen.
Aktualisiert · Stichprobenmonat 08/2026 · 4.645 von 5.400 Websites in 27 Ländern gemessen · Pressematerial
Wichtigste Ergebnisse
- 10 % der gemessenen Websites sperren in der robots.txt mindestens einen KI-Such- oder Antwort-Crawler.
- 17 % sperren mindestens einen KI-Trainings-Crawler.
- 82 % sperren gar keinen KI-Crawler.
- 9 % der prüfbaren Websites veröffentlichen eine gültige llms.txt.
- Der am häufigsten gesperrte KI-Crawler ist CCBot: 14 % der gemessenen Websites sperren ihn.
10 %
Sperren einen KI-Such- oder Antwort-Crawler
17 %
Sperren einen KI-Trainings-Crawler
82 %
Sperren keinen KI-Crawler
9 %
Veröffentlichen eine gültige llms.txt
Nach Land
Zuerst steht der EU-Gesamtwert, danach folgen die Länder vom höchsten zum niedrigsten Anteil.
| Land | Gemessen | KI-Suche gesperrt | KI-Training gesperrt | Keine KI gesperrt | llms.txt |
|---|---|---|---|---|---|
| EU (27 Länder) | 4.645 | 10 % | 17 % | 82 % | 9 % |
| Deutschland | 184 | 27 % | 43 % | 55 % | 5 % |
| Italien | 165 | 22 % | 30 % | 68 % | 5 % |
| Frankreich | 166 | 20 % | 25 % | 72 % | 5 % |
| Schweden | 189 | 17 % | 24 % | 75 % | 6 % |
| Finnland | 188 | 16 % | 22 % | 78 % | 8 % |
| Niederlande | 176 | 16 % | 22 % | 76 % | 10 % |
| Irland | 178 | 16 % | 20 % | 79 % | 9 % |
| Spanien | 160 | 16 % | 24 % | 75 % | 6 % |
| Dänemark | 178 | 13 % | 19 % | 80 % | 17 % |
| Belgien | 174 | 11 % | 16 % | 80 % | 9 % |
| Tschechien | 186 | 11 % | 20 % | 78 % | 11 % |
| Österreich | 175 | 10 % | 19 % | 79 % | 5 % |
| Rumänien | 171 | 8 % | 13 % | 84 % | 18 % |
| Portugal | 170 | 8 % | 14 % | 84 % | 8 % |
| Estland | 167 | 7 % | 10 % | 88 % | 10 % |
| Luxemburg | 174 | 7 % | 11 % | 88 % | 8 % |
| Lettland | 165 | 7 % | 8 % | 90 % | 7 % |
| Polen | 181 | 7 % | 24 % | 71 % | 11 % |
| Zypern | 163 | 6 % | 9 % | 91 % | 9 % |
| Griechenland | 169 | 5 % | 11 % | 88 % | 8 % |
| Slowakei | 174 | 4 % | 10 % | 88 % | 9 % |
| Malta | 154 | 4 % | 8 % | 92 % | 18 % |
| Bulgarien | 157 | 4 % | 11 % | 87 % | 9 % |
| Kroatien | 170 | 4 % | 9 % | 88 % | 10 % |
| Ungarn | 175 | 2 % | 7 % | 91 % | 10 % |
| Slowenien | 178 | 2 % | 4 % | 93 % | 11 % |
| Litauen | 158 | 1 % | 6 % | 92 % | 13 % |
Sperren je KI-Crawler
| Crawler | Zweck | Websites, die ihn sperren |
|---|---|---|
GPTBot · OpenAI | Modelltraining | 14 % |
OAI-SearchBot · OpenAI | KI-Suche und -Antworten | 7 % |
ChatGPT-User · OpenAI | KI-Suche und -Antworten | 8 % |
ClaudeBot · Anthropic | Modelltraining | 12 % |
Claude-SearchBot · Anthropic | KI-Suche und -Antworten | 5 % |
Claude-User · Anthropic | KI-Suche und -Antworten | 5 % |
PerplexityBot · Perplexity | KI-Suche und -Antworten | 8 % |
Perplexity-User · Perplexity | KI-Suche und -Antworten | 5 % |
Google-Extended · Google | Andere KI-Nutzungen | 11 % |
Applebot-Extended · Apple | Andere KI-Nutzungen | 9 % |
meta-externalagent · Meta | Andere KI-Nutzungen | 10 % |
Amazonbot · Amazon | Andere KI-Nutzungen | 12 % |
CCBot | Modelltraining | 14 % |
Einschließlich Websites, die standardmäßig jeden Crawler sperren (User-agent: *): 3 % der gemessenen.
Methodik
Stichprobe: für jedes der 27 EU-Länder die ersten 200 Websites mit der Landesdomain (etwa .de oder .gr) unter den 10.000 Websites, die Chrome-Nutzer in diesem Land im Monat 08/2026 am häufigsten besucht haben. Eine Website pro registrierter Domain, nur sichere (https) Websites. Quelle: Chrome UX Report (Google, CC BY 4.0).
Unser Crawler gibt sich als RankProofBot zu erkennen und befolgt die robots.txt jeder Website. Einmal im Monat liest er robots.txt, /llms.txt und die Startseite, mit jeweils einer Anfrage pro Website.
Eine Website sperrt einen Crawler, wenn ihre robots.txt ihm die Startseite nach den Standardregeln (RFC 9309) verbietet, einschließlich Regeln für alle Crawler. 755 der 5.400 Websites fließen nicht in die Anteile ein: Die robots.txt antwortete mit einer Bot-Prüfung, einer Ratenbegrenzung oder einem Serverfehler, oder die Website war nicht erreichbar.
Eine llms.txt gilt als gültig, wenn sie eine Textdatei ist, die mit einer Markdown-Überschrift beginnt, wie es der llms.txt-Vorschlag verlangt. 4.260 Websites konnten geprüft werden.
Keine Website wird genannt: Gespeichert und veröffentlicht werden nur Gesamtwerte pro Land.
Pressematerial: zitieren, belegen, weiterverwenden
Zitierfertige Zahlen aus dem neuesten Monat dieser Studie, jeweils mit Quellenangabe.
Zitierfertige Zahlen (5)
-
„10 % der gemessenen Websites sperren in der robots.txt mindestens einen KI-Such- oder Antwort-Crawler.“ — RankProof, KI-Crawler-Sperren auf EU-Websites, 08/2026 (4.645 Websites in 27 EU-Ländern)
-
„17 % sperren mindestens einen KI-Trainings-Crawler.“ — RankProof, KI-Crawler-Sperren auf EU-Websites, 08/2026 (4.645 Websites in 27 EU-Ländern)
-
„82 % sperren gar keinen KI-Crawler.“ — RankProof, KI-Crawler-Sperren auf EU-Websites, 08/2026 (4.645 Websites in 27 EU-Ländern)
-
„9 % der prüfbaren Websites veröffentlichen eine gültige llms.txt.“ — RankProof, KI-Crawler-Sperren auf EU-Websites, 08/2026 (4.645 Websites in 27 EU-Ländern)
-
„Der am häufigsten gesperrte KI-Crawler ist CCBot: 14 % der gemessenen Websites sperren ihn.“ — RankProof, KI-Crawler-Sperren auf EU-Websites, 08/2026 (4.645 Websites in 27 EU-Ländern)
Daten herunterladen
Frei nutzbar mit Nennung von RankProof und einem Link auf diese Seite. CC BY 4.0
Wie Sie diesen Datensatz zitieren
RankProof Research, „KI-Crawler-Sperren auf EU-Websites", 2026. https://rankproof.eu/de/research/ai-crawler-access-eu
Quellenangabe mit Link (HTML)
<a href="https://rankproof.eu/de/research/ai-crawler-access-eu">Quelle: RankProof, KI-Crawler-Sperren auf EU-Websites (08/2026)</a> (<a href="https://creativecommons.org/licenses/by/4.0/">CC BY 4.0</a>) Kostenlose Tools zum Thema
Ratgeber zum Thema
Jeden Monat gemessen, sobald die neue Monatsliste erschienen ist.