Blocco dei crawler di IA sui siti dell’UE
Come i siti nazionali più visitati di ogni paese dell’UE trattano nel robots.txt i crawler di IA per la ricerca e per l’addestramento, e quanti pubblicano un llms.txt.
Aggiornato · Mese del campione 08/2026 · 4645 siti misurati su 5400 in 27 paesi · Cartella stampa
Risultati principali
- Il 10% dei siti misurati blocca nel robots.txt almeno un crawler di IA per la ricerca o le risposte.
- Il 17% blocca almeno un crawler di IA per l’addestramento.
- Il 82% non blocca alcun crawler di IA.
- Il 9% dei siti che abbiamo potuto verificare pubblica un file llms.txt valido.
- Il crawler di IA bloccato più spesso è CCBot: lo blocca il 14% dei siti misurati.
10%
Bloccano un crawler di IA per ricerca o risposte
17%
Bloccano un crawler di IA per l’addestramento
82%
Non bloccano alcun crawler di IA
9%
Pubblicano un llms.txt valido
Per paese
Prima compare il totale UE, poi i paesi, dalla quota più alta alla più bassa.
| Paese | Misurati | Ricerca IA bloccata | Addestramento IA bloccato | Nessuna IA bloccata | llms.txt |
|---|---|---|---|---|---|
| UE (27 paesi) | 4645 | 10% | 17% | 82% | 9% |
| Italia | 165 | 22% | 30% | 68% | 5% |
| Germania | 184 | 27% | 43% | 55% | 5% |
| Francia | 166 | 20% | 25% | 72% | 5% |
| Svezia | 189 | 17% | 24% | 75% | 6% |
| Finlandia | 188 | 16% | 22% | 78% | 8% |
| Paesi Bassi | 176 | 16% | 22% | 76% | 10% |
| Irlanda | 178 | 16% | 20% | 79% | 9% |
| Spagna | 160 | 16% | 24% | 75% | 6% |
| Danimarca | 178 | 13% | 19% | 80% | 17% |
| Belgio | 174 | 11% | 16% | 80% | 9% |
| Cechia | 186 | 11% | 20% | 78% | 11% |
| Austria | 175 | 10% | 19% | 79% | 5% |
| Romania | 171 | 8% | 13% | 84% | 18% |
| Portogallo | 170 | 8% | 14% | 84% | 8% |
| Estonia | 167 | 7% | 10% | 88% | 10% |
| Lussemburgo | 174 | 7% | 11% | 88% | 8% |
| Lettonia | 165 | 7% | 8% | 90% | 7% |
| Polonia | 181 | 7% | 24% | 71% | 11% |
| Cipro | 163 | 6% | 9% | 91% | 9% |
| Grecia | 169 | 5% | 11% | 88% | 8% |
| Slovacchia | 174 | 4% | 10% | 88% | 9% |
| Malta | 154 | 4% | 8% | 92% | 18% |
| Bulgaria | 157 | 4% | 11% | 87% | 9% |
| Croazia | 170 | 4% | 9% | 88% | 10% |
| Ungheria | 175 | 2% | 7% | 91% | 10% |
| Slovenia | 178 | 2% | 4% | 93% | 11% |
| Lituania | 158 | 1% | 6% | 92% | 13% |
Blocco per crawler di IA
| Crawler | Uso | Siti che lo bloccano |
|---|---|---|
GPTBot · OpenAI | Addestramento modelli | 14% |
OAI-SearchBot · OpenAI | Ricerca e risposte AI | 7% |
ChatGPT-User · OpenAI | Ricerca e risposte AI | 8% |
ClaudeBot · Anthropic | Addestramento modelli | 12% |
Claude-SearchBot · Anthropic | Ricerca e risposte AI | 5% |
Claude-User · Anthropic | Ricerca e risposte AI | 5% |
PerplexityBot · Perplexity | Ricerca e risposte AI | 8% |
Perplexity-User · Perplexity | Ricerca e risposte AI | 5% |
Google-Extended · Google | Altri usi AI | 11% |
Applebot-Extended · Apple | Altri usi AI | 9% |
meta-externalagent · Meta | Altri usi AI | 10% |
Amazonbot · Amazon | Altri usi AI | 12% |
CCBot | Addestramento modelli | 14% |
Sono inclusi i siti che bloccano per impostazione predefinita ogni crawler (User-agent: *): il 3% di quelli misurati.
Metodologia
Campione: per ciascuno dei 27 paesi dell’UE, i primi 200 siti con il dominio nazionale (come .de o .gr) tra i 10.000 siti più visitati dagli utenti di Chrome in quel paese nel mese 08/2026. Un sito per dominio registrato, solo siti sicuri (https). Fonte: Chrome UX Report (Google, CC BY 4.0).
Il nostro crawler si identifica come RankProofBot e rispetta il robots.txt di ogni sito. Una volta al mese legge robots.txt, /llms.txt e la home page, con una richiesta alla volta per sito.
Un sito blocca un crawler quando il suo robots.txt gli vieta la home page secondo le regole standard (RFC 9309), comprese le regole scritte per tutti i crawler. 755 dei 5400 siti restano fuori dalle quote: il robots.txt ha risposto con un controllo anti-bot, un limite di richieste o un errore del server, oppure il sito non era raggiungibile.
Un file llms.txt è considerato valido quando è un file di testo che inizia con un titolo Markdown, come richiede la proposta llms.txt. È stato possibile verificare 4260 siti.
Nessun sito viene nominato: si conservano e si pubblicano solo totali per paese.
Cartella stampa: citare, attribuire, riutilizzare
Dati pronti da citare dall’ultimo mese di questo studio, ciascuno con la sua fonte.
Dati pronti da citare (5)
-
«Il 10% dei siti misurati blocca nel robots.txt almeno un crawler di IA per la ricerca o le risposte.» — RankProof, Blocco dei crawler di IA sui siti dell’UE, 08/2026 (4645 siti web in 27 paesi dell’UE)
-
«Il 17% blocca almeno un crawler di IA per l’addestramento.» — RankProof, Blocco dei crawler di IA sui siti dell’UE, 08/2026 (4645 siti web in 27 paesi dell’UE)
-
«Il 82% non blocca alcun crawler di IA.» — RankProof, Blocco dei crawler di IA sui siti dell’UE, 08/2026 (4645 siti web in 27 paesi dell’UE)
-
«Il 9% dei siti che abbiamo potuto verificare pubblica un file llms.txt valido.» — RankProof, Blocco dei crawler di IA sui siti dell’UE, 08/2026 (4645 siti web in 27 paesi dell’UE)
-
«Il crawler di IA bloccato più spesso è CCBot: lo blocca il 14% dei siti misurati.» — RankProof, Blocco dei crawler di IA sui siti dell’UE, 08/2026 (4645 siti web in 27 paesi dell’UE)
Scarica i dati
Riutilizzo libero citando RankProof con un link a questa pagina. CC BY 4.0
Come citare questo dataset
RankProof Research, «Blocco dei crawler di IA sui siti dell’UE», 2026. https://rankproof.eu/it/research/ai-crawler-access-eu
Riga di attribuzione con link (HTML)
<a href="https://rankproof.eu/it/research/ai-crawler-access-eu">Fonte: RankProof, Blocco dei crawler di IA sui siti dell’UE (08/2026)</a> (<a href="https://creativecommons.org/licenses/by/4.0/">CC BY 4.0</a>) Strumenti gratuiti su questo tema
Guide su questo tema
Misurato ogni mese, appena viene pubblicato il nuovo elenco mensile.