Generatore di robots.txt
Risposta breve
Crea un robots.txt con i percorsi bloccati, le righe sitemap e la scelta consenti o blocca per ogni crawler IA, poi vedi cosa può scaricare ogni bot IA.
Cosa non fa: Scrive il file ma non lo pubblica, e robots.txt è solo una richiesta ai crawler: non toglie pagine dai risultati di ricerca né ferma i crawler che lo ignorano.
Inizia ogni percorso con /, ad es. /admin/ o /cart/. Usa * come carattere jolly e $ per indicare la fine di un URL.
Google ignora Crawl-delay; Bing lo legge.
Crawler AI
I crawler per la ricerca e le risposte AI decidono se le tue pagine possono essere mostrate o citate lì. I crawler per l'addestramento raccolgono pagine per l'addestramento dei modelli; bloccarli non rimuove il tuo sito dalla ricerca AI.
Elenco dei crawler AI controllato l'ultima volta il 17/09/2026.
Il tuo robots.txt
User-agent: * Allow: /
Cosa consente il file sulla home page
- GPTBotConsentito
- OAI-SearchBotConsentito
- ChatGPT-UserConsentito
- ClaudeBotConsentito
- Claude-SearchBotConsentito
- Claude-UserConsentito
- PerplexityBotConsentito
- Perplexity-UserConsentito
- Google-ExtendedConsentito
- Applebot-ExtendedConsentito
- meta-externalagentConsentito
- meta-webindexerConsentito
- meta-externalfetcherConsentito
- ExaSearchBotConsentito
- ExaUserConsentito
- KeenableBotConsentito
- Keenable-UserConsentito
- AmazonbotConsentito
- CCBotConsentito
Salva il file come robots.txt nella radice del tuo dominio (ad esempio https://example.com/robots.txt), poi testa il file live. Apri il controllo robots.txt
Il file viene creato nel tuo browser.
Cosa fa
Crea un file robots.txt con i percorsi da tenere fuori dalla portata dei crawler, righe di sitemap, un Crawl-delay opzionale, e una scelta di consenti o blocca per ogni crawler AI conosciuto, raggruppati in ricerca AI, addestramento modelli e altri usi AI. Poi rilegge il file e mostra cosa ogni crawler AI può recuperare.
Perché è importante
robots.txt indica ai crawler quali URL possono recuperare. Le aziende AI usano crawler separati per la ricerca, per recuperare una pagina che un utente chiede, e per l'addestramento dei modelli, così puoi restare visibile nella ricerca AI escludendoti dall'addestramento. Bloccare un crawler di addestramento come GPTBot non rimuove un sito dalla ricerca di ChatGPT. robots.txt è una richiesta, non un controllo degli accessi, e alcuni sistemi che agiscono per conto di un utente dichiarano di poter non seguirlo.
Come funziona
-
Scegli se consentire la scansione o bloccare l'intero sito
-
Elenca i percorsi da tenere fuori dalla portata dei crawler e gli URL delle tue sitemap
-
Consenti o blocca ogni crawler AI, oppure parti da un preset
-
Copia o scarica il file, salvalo come /robots.txt e testa il file live con il controllo robots.txt
Esempio di input e output
scansione: consentita · percorsi bloccati: /admin/, /cart/ preimpostazione IA: solo ricerca IA sitemap: https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml Cosa consente il file sulla home page: GPTBot Bloccato · OAI-SearchBot Consentito · ChatGPT-User Consentito ClaudeBot Bloccato · Claude-SearchBot Consentito · PerplexityBot Consentito Google-Extended Bloccato · CCBot Bloccato
Come leggere il risultato
- Il gruppo User-agent: *
- Regole per ogni crawler: qui Disallow: /admin/ e Disallow: /cart/, i due percorsi dell'esempio. Tutto ciò che non è vietato può essere scansionato. Il robots.txt è una richiesta che i crawler corretti rispettano, non una serratura.
- Il gruppo dei crawler IA
- Ogni crawler IA impostato su Blocca compare in un gruppo che termina con Disallow: /. L'esempio usa la preimpostazione che consente solo la ricerca IA: i crawler di addestramento sono bloccati (GPTBot, ClaudeBot, CCBot e altri), mentre gli agenti di ricerca e utente che recuperano le pagine per citarle restano consentiti.
- La riga Sitemap
- Una riga per sitemap, sempre con l'indirizzo completo https://. Vale per tutti i crawler, ovunque si trovi nel file.
- Cosa consente il file sulla home page
- Il file generato viene riletto con le stesse regole RFC 9309 usate dai crawler e testato sulla home page per ogni crawler IA. Nell'esempio GPTBot è bloccato e OAI-SearchBot consentito: la stessa azienda usa crawler diversi per l'addestramento e per la ricerca.
- Google-Extended e Applebot-Extended
- Non sono crawler ma token che indicano se i contenuti che Google e Apple già scansionano possono servire ai loro modelli di IA. Bloccarli non impedisce a Googlebot o Applebot di scansionare il sito per la ricerca.
Chi lo usa
-
Titolare del sito
Resta nei risultati della ricerca AI escludendoti dall'addestramento dei modelli.
-
Specialista SEO
Tieni i crawler fuori dal carrello, dalla ricerca interna e dalle pagine di amministrazione senza bloccare il resto del sito.
-
Sviluppatore web
Crea un file che blocca tutto per un sito di staging.
Problemi comuni e come risolverli
-
Vuoi togliere una pagina dai risultati
Il robots.txt non rimuove le pagine: un URL bloccato può restare elencato se altri siti lo collegano. Lascia che la pagina venga scansionata e aggiungi invece un meta tag robots noindex.
<meta name="robots" content="noindex"> -
CSS o JavaScript bloccati
Non vietare le cartelle con i fogli di stile e gli script che servono alle tue pagine; i motori eseguono il rendering delle pagine e le giudicano per ciò che vedono. Blocca invece le aree private come amministrazione, carrello e account.
-
Contare su Crawl-delay
Google ignora Crawl-delay; Bing e alcuni altri crawler lo rispettano. Se Googlebot scansiona troppo in fretta, migliora la velocità del server o lascia che risponda 503 o 429 per poco tempo.
-
Il file è nel posto sbagliato
I crawler leggono il robots.txt solo nella radice di ogni host: https://example.com/robots.txt vale per example.com, non per www.example.com o shop.example.com, che hanno bisogno di un file proprio.
-
Bloccare tutti i crawler IA
Se blocchi anche gli agenti di ricerca e utente IA, le tue pagine restano fuori dalle risposte che citano le fonti. Se vuoi solo restare fuori dall'addestramento dei modelli, blocca i crawler di addestramento e lascia consentiti quelli di ricerca.
Domande frequenti
- Dove metto robots.txt?
- Nella radice del tuo dominio, ad esempio https://example.com/robots.txt. Ogni sottodominio ha bisogno del proprio file.
- Bloccare una pagina in robots.txt la rimuove da Google?
- No. robots.txt controlla la scansione, non l'indicizzazione. Un URL bloccato può comunque comparire nei risultati se altre pagine lo collegano; usa noindex o la protezione con password per tenere fuori una pagina.
- Quali crawler AI posso controllare?
- I token dei crawler documentati da OpenAI, Anthropic, Perplexity, Google, Apple, Meta e Amazon, oltre a CCBot, il crawler di un archivio web aperto. Gli operatori aggiungono e ritirano token, quindi l'elenco viene controllato regolarmente; la data è mostrata sotto di esso.
- Perché i crawler AI consentiti non hanno un proprio gruppo?
- Un crawler con un proprio gruppo ignora le regole per tutti i crawler (User-agent: *). Lasciare fuori i crawler consentiti mantiene valide anche per loro le regole sui percorsi bloccati.
- Google legge Crawl-delay?
- No, Google lo ignora. Bing lo legge.
Fonti
La documentazione su cui si basano questo strumento e le spiegazioni di questa pagina.
- RFC 9309: Robots Exclusion Protocol — RFC Editor
- Create and Submit a robots.txt File — Google Search Central
- Google's common crawlers — Google Search Central
- Robots Meta Tags Specifications — Google Search Central