Zum Inhalt springen
KI-Crawler · monatlich Live

KI-Crawler-Sperren auf EU-Websites

Wie beliebte nationale Websites in jedem EU-Land KI-Such- und Trainings-Crawler in der robots.txt behandeln und wie viele eine llms.txt veröffentlichen.

Aktualisiert · Stichprobenmonat 10/2026 · 4.554 von 5.400 Websites in 27 Ländern gemessen · Pressematerial

Wichtigste Ergebnisse

  • 11 % der gemessenen Websites sperren in der robots.txt mindestens einen KI-Such- oder Antwort-Crawler.
  • 21 % sperren mindestens einen KI-Trainings-Crawler.
  • 77 % sperren gar keinen KI-Crawler.
  • 10 % der prüfbaren Websites veröffentlichen eine gültige llms.txt.
  • Der am häufigsten gesperrte KI-Crawler ist CCBot: 19 % der gemessenen Websites sperren ihn.

11 %

Sperren einen KI-Such- oder Antwort-Crawler

21 %

Sperren einen KI-Trainings-Crawler

77 %

Sperren keinen KI-Crawler

10 %

Veröffentlichen eine gültige llms.txt

Nach Land

Zuerst steht der EU-Gesamtwert, danach folgen die Länder vom höchsten zum niedrigsten Anteil.

Land Gemessen KI-Suche gesperrt KI-Training gesperrt Keine KI gesperrt llms.txt
EU (27 Länder) 4.554 11 % 21 % 77 % 10 %
Deutschland 176 26 % 44 % 55 % 8 %
Finnland 170 22 % 28 % 71 % 3 %
Italien 161 22 % 33 % 65 % 6 %
Spanien 162 19 % 28 % 72 % 6 %
Niederlande 173 18 % 24 % 74 % 11 %
Frankreich 162 17 % 29 % 69 % 6 %
Schweden 183 16 % 22 % 77 % 6 %
Dänemark 169 15 % 24 % 76 % 15 %
Belgien 170 15 % 22 % 75 % 10 %
Irland 167 13 % 22 % 76 % 5 %
Österreich 163 12 % 23 % 74 % 6 %
Tschechien 180 10 % 23 % 73 % 9 %
Polen 181 8 % 27 % 70 % 12 %
Estland 171 8 % 14 % 85 % 12 %
Luxemburg 170 8 % 12 % 87 % 9 %
Portugal 164 7 % 18 % 80 % 11 %
Zypern 158 7 % 16 % 83 % 14 %
Kroatien 180 6 % 12 % 86 % 12 %
Bulgarien 170 6 % 15 % 84 % 8 %
Malta 143 6 % 18 % 80 % 10 %
Griechenland 164 5 % 12 % 86 % 13 %
Lettland 167 5 % 19 % 81 % 10 %
Slowakei 174 5 % 17 % 79 % 13 %
Litauen 159 5 % 21 % 75 % 14 %
Rumänien 168 4 % 17 % 82 % 14 %
Ungarn 179 3 % 15 % 83 % 9 %
Slowenien 170 1 % 7 % 90 % 12 %
Sperren je KI-Crawler
Crawler Zweck Websites, die ihn sperren
GPTBot · OpenAI Modelltraining 18 %
OAI-SearchBot · OpenAI KI-Suche und -Antworten 7 %
ChatGPT-User · OpenAI KI-Suche und -Antworten 9 %
ClaudeBot · Anthropic Modelltraining 16 %
Claude-SearchBot · Anthropic KI-Suche und -Antworten 6 %
Claude-User · Anthropic KI-Suche und -Antworten 6 %
PerplexityBot · Perplexity KI-Suche und -Antworten 9 %
Perplexity-User · Perplexity KI-Suche und -Antworten 7 %
Google-Extended · Google Andere KI-Nutzungen 15 %
Applebot-Extended · Apple Andere KI-Nutzungen 14 %
meta-externalagent · Meta Andere KI-Nutzungen 15 %
meta-webindexer · Meta KI-Suche und -Antworten —
meta-externalfetcher · Meta KI-Suche und -Antworten —
ExaSearchBot · Exa KI-Suche und -Antworten —
ExaUser · Exa KI-Suche und -Antworten —
KeenableBot · Keenable KI-Suche und -Antworten —
Keenable-User · Keenable KI-Suche und -Antworten —
Amazonbot · Amazon Andere KI-Nutzungen 17 %
CCBot Modelltraining 19 %

Einschließlich Websites, die standardmäßig jeden Crawler sperren (User-agent: *): 4 % der gemessenen.

Monat für Monat
Monat Gemessen KI-Suche gesperrt KI-Training gesperrt llms.txt
10/2026 4.554 11 % 21 % 10 %
09/2026 4.523 11 % 18 % 8 %
08/2026 4.645 10 % 17 % 9 %

Methodik

Stichprobe: für jedes der 27 EU-Länder die ersten 200 Websites mit der Landesdomain (etwa .de oder .gr) unter den 10.000 Websites, die Chrome-Nutzer in diesem Land im Monat 10/2026 am häufigsten besucht haben. Eine Website pro registrierter Domain, nur sichere (https) Websites. Quelle: Chrome UX Report (Google, CC BY 4.0).

Unser Crawler gibt sich als RankProofBot zu erkennen und befolgt die robots.txt jeder Website. Einmal im Monat liest er robots.txt, /llms.txt und die Startseite, mit jeweils einer Anfrage pro Website.

Eine Website sperrt einen Crawler, wenn ihre robots.txt ihm die Startseite nach den Standardregeln (RFC 9309) verbietet, einschließlich Regeln für alle Crawler. 846 der 5.400 Websites fließen nicht in die Anteile ein: Die robots.txt antwortete mit einer Bot-Prüfung, einer Ratenbegrenzung oder einem Serverfehler, oder die Website war nicht erreichbar.

Eine llms.txt gilt als gültig, wenn sie eine Textdatei ist, die mit einer Markdown-Überschrift beginnt, wie es der llms.txt-Vorschlag verlangt. 4.065 Websites konnten geprüft werden.

Keine Website wird genannt: Gespeichert und veröffentlicht werden nur Gesamtwerte pro Land.

Pressematerial: zitieren, belegen, weiterverwenden

Zitierfertige Zahlen aus dem neuesten Monat dieser Studie, jeweils mit Quellenangabe.

Zitierfertige Zahlen (5)

  • „11 % der gemessenen Websites sperren in der robots.txt mindestens einen KI-Such- oder Antwort-Crawler.“ — RankProof, KI-Crawler-Sperren auf EU-Websites, 10/2026 (4.554 Websites in 27 EU-Ländern)

  • „21 % sperren mindestens einen KI-Trainings-Crawler.“ — RankProof, KI-Crawler-Sperren auf EU-Websites, 10/2026 (4.554 Websites in 27 EU-Ländern)

  • „77 % sperren gar keinen KI-Crawler.“ — RankProof, KI-Crawler-Sperren auf EU-Websites, 10/2026 (4.554 Websites in 27 EU-Ländern)

  • „10 % der prüfbaren Websites veröffentlichen eine gültige llms.txt.“ — RankProof, KI-Crawler-Sperren auf EU-Websites, 10/2026 (4.554 Websites in 27 EU-Ländern)

  • „Der am häufigsten gesperrte KI-Crawler ist CCBot: 19 % der gemessenen Websites sperren ihn.“ — RankProof, KI-Crawler-Sperren auf EU-Websites, 10/2026 (4.554 Websites in 27 EU-Ländern)

Daten herunterladen

Frei nutzbar mit Nennung von RankProof und einem Link auf diese Seite. CC BY 4.0

Wie Sie diesen Datensatz zitieren

RankProof Research, „KI-Crawler-Sperren auf EU-Websites", 2026. https://rankproof.eu/de/research/ai-crawler-access-eu

Jede Länderzeile und jede Zahl oben hat eine eigene Adresse: Klicken Sie auf einen Ländernamen und kopieren Sie den Link aus Ihrem Browser, zum Beispiel https://rankproof.eu/de/research/ai-crawler-access-eu#country-de.

Quellenangabe mit Link (HTML)

<a href="https://rankproof.eu/de/research/ai-crawler-access-eu">Quelle: RankProof, KI-Crawler-Sperren auf EU-Websites (10/2026)</a> (<a href="https://creativecommons.org/licenses/by/4.0/">CC BY 4.0</a>)

Jeden Monat gemessen, sobald die neue Monatsliste erschienen ist.