Vai al contenuto
Crawler di IA · mensile In diretta

Blocco dei crawler di IA sui siti dell’UE

Come i siti nazionali più visitati di ogni paese dell’UE trattano nel robots.txt i crawler di IA per la ricerca e per l’addestramento, e quanti pubblicano un llms.txt.

Aggiornato · Mese del campione 10/2026 · 4554 siti misurati su 5400 in 27 paesi · Cartella stampa

Risultati principali

  • Il 11% dei siti misurati blocca nel robots.txt almeno un crawler di IA per la ricerca o le risposte.
  • Il 21% blocca almeno un crawler di IA per l’addestramento.
  • Il 77% non blocca alcun crawler di IA.
  • Il 10% dei siti che abbiamo potuto verificare pubblica un file llms.txt valido.
  • Il crawler di IA bloccato più spesso è CCBot: lo blocca il 19% dei siti misurati.

11%

Bloccano un crawler di IA per ricerca o risposte

21%

Bloccano un crawler di IA per l’addestramento

77%

Non bloccano alcun crawler di IA

10%

Pubblicano un llms.txt valido

Per paese

Prima compare il totale UE, poi i paesi, dalla quota più alta alla più bassa.

Paese Misurati Ricerca IA bloccata Addestramento IA bloccato Nessuna IA bloccata llms.txt
UE (27 paesi) 4554 11% 21% 77% 10%
Italia 161 22% 33% 65% 6%
Germania 176 26% 44% 55% 8%
Finlandia 170 22% 28% 71% 3%
Spagna 162 19% 28% 72% 6%
Paesi Bassi 173 18% 24% 74% 11%
Francia 162 17% 29% 69% 6%
Svezia 183 16% 22% 77% 6%
Danimarca 169 15% 24% 76% 15%
Belgio 170 15% 22% 75% 10%
Irlanda 167 13% 22% 76% 5%
Austria 163 12% 23% 74% 6%
Cechia 180 10% 23% 73% 9%
Polonia 181 8% 27% 70% 12%
Estonia 171 8% 14% 85% 12%
Lussemburgo 170 8% 12% 87% 9%
Portogallo 164 7% 18% 80% 11%
Cipro 158 7% 16% 83% 14%
Croazia 180 6% 12% 86% 12%
Bulgaria 170 6% 15% 84% 8%
Malta 143 6% 18% 80% 10%
Grecia 164 5% 12% 86% 13%
Lettonia 167 5% 19% 81% 10%
Slovacchia 174 5% 17% 79% 13%
Lituania 159 5% 21% 75% 14%
Romania 168 4% 17% 82% 14%
Ungheria 179 3% 15% 83% 9%
Slovenia 170 1% 7% 90% 12%
Blocco per crawler di IA
Crawler Uso Siti che lo bloccano
GPTBot · OpenAI Addestramento modelli 18%
OAI-SearchBot · OpenAI Ricerca e risposte AI 7%
ChatGPT-User · OpenAI Ricerca e risposte AI 9%
ClaudeBot · Anthropic Addestramento modelli 16%
Claude-SearchBot · Anthropic Ricerca e risposte AI 6%
Claude-User · Anthropic Ricerca e risposte AI 6%
PerplexityBot · Perplexity Ricerca e risposte AI 9%
Perplexity-User · Perplexity Ricerca e risposte AI 7%
Google-Extended · Google Altri usi AI 15%
Applebot-Extended · Apple Altri usi AI 14%
meta-externalagent · Meta Altri usi AI 15%
meta-webindexer · Meta Ricerca e risposte AI —
meta-externalfetcher · Meta Ricerca e risposte AI —
ExaSearchBot · Exa Ricerca e risposte AI —
ExaUser · Exa Ricerca e risposte AI —
KeenableBot · Keenable Ricerca e risposte AI —
Keenable-User · Keenable Ricerca e risposte AI —
Amazonbot · Amazon Altri usi AI 17%
CCBot Addestramento modelli 19%

Sono inclusi i siti che bloccano per impostazione predefinita ogni crawler (User-agent: *): il 4% di quelli misurati.

Mese per mese
Mese Misurati Ricerca IA bloccata Addestramento IA bloccato llms.txt
10/2026 4554 11% 21% 10%
09/2026 4523 11% 18% 8%
08/2026 4645 10% 17% 9%

Metodologia

Campione: per ciascuno dei 27 paesi dell’UE, i primi 200 siti con il dominio nazionale (come .de o .gr) tra i 10.000 siti più visitati dagli utenti di Chrome in quel paese nel mese 10/2026. Un sito per dominio registrato, solo siti sicuri (https). Fonte: Chrome UX Report (Google, CC BY 4.0).

Il nostro crawler si identifica come RankProofBot e rispetta il robots.txt di ogni sito. Una volta al mese legge robots.txt, /llms.txt e la home page, con una richiesta alla volta per sito.

Un sito blocca un crawler quando il suo robots.txt gli vieta la home page secondo le regole standard (RFC 9309), comprese le regole scritte per tutti i crawler. 846 dei 5400 siti restano fuori dalle quote: il robots.txt ha risposto con un controllo anti-bot, un limite di richieste o un errore del server, oppure il sito non era raggiungibile.

Un file llms.txt è considerato valido quando è un file di testo che inizia con un titolo Markdown, come richiede la proposta llms.txt. È stato possibile verificare 4065 siti.

Nessun sito viene nominato: si conservano e si pubblicano solo totali per paese.

Cartella stampa: citare, attribuire, riutilizzare

Dati pronti da citare dall’ultimo mese di questo studio, ciascuno con la sua fonte.

Dati pronti da citare (5)

  • «Il 11% dei siti misurati blocca nel robots.txt almeno un crawler di IA per la ricerca o le risposte.» — RankProof, Blocco dei crawler di IA sui siti dell’UE, 10/2026 (4554 siti web in 27 paesi dell’UE)

  • «Il 21% blocca almeno un crawler di IA per l’addestramento.» — RankProof, Blocco dei crawler di IA sui siti dell’UE, 10/2026 (4554 siti web in 27 paesi dell’UE)

  • «Il 77% non blocca alcun crawler di IA.» — RankProof, Blocco dei crawler di IA sui siti dell’UE, 10/2026 (4554 siti web in 27 paesi dell’UE)

  • «Il 10% dei siti che abbiamo potuto verificare pubblica un file llms.txt valido.» — RankProof, Blocco dei crawler di IA sui siti dell’UE, 10/2026 (4554 siti web in 27 paesi dell’UE)

  • «Il crawler di IA bloccato più spesso è CCBot: lo blocca il 19% dei siti misurati.» — RankProof, Blocco dei crawler di IA sui siti dell’UE, 10/2026 (4554 siti web in 27 paesi dell’UE)

Scarica i dati

Riutilizzo libero citando RankProof con un link a questa pagina. CC BY 4.0

Come citare questo dataset

RankProof Research, «Blocco dei crawler di IA sui siti dell’UE», 2026. https://rankproof.eu/it/research/ai-crawler-access-eu

Ogni riga di paese e ogni cifra qui sopra ha un proprio indirizzo: fai clic sul nome di un paese e copia il link dal browser, per esempio https://rankproof.eu/it/research/ai-crawler-access-eu#country-it.

Riga di attribuzione con link (HTML)

<a href="https://rankproof.eu/it/research/ai-crawler-access-eu">Fonte: RankProof, Blocco dei crawler di IA sui siti dell’UE (10/2026)</a> (<a href="https://creativecommons.org/licenses/by/4.0/">CC BY 4.0</a>)

Misurato ogni mese, appena viene pubblicato il nuovo elenco mensile.