Verifica e validatore robots.txt
Risposta breve
Controlla il tuo robots.txt: le regole, la riga della sitemap, se una pagina può essere scansionata e quali crawler di IA possono leggerla.
Cosa non fa: Legge le regole come sono scritte e non può dire se un crawler le rispetta; alcuni agenti IA che agiscono su richiesta di un utente possono ignorare robots.txt, e bloccare la scansione non toglie una pagina dai risultati di ricerca.
Cosa fa
Recupera il tuo `/robots.txt` e analizza ogni direttiva — gruppi User-agent, regole Allow/Disallow, Sitemap e Crawl-delay. Controlla se l'URL che hai inserito è consentito, usando la stessa precedenza per corrispondenza più lunga usata dai crawler reali, e segnala un `Disallow: /` generale, una direttiva sitemap mancante e un file di dimensioni eccessive. Elenca inoltre i principali crawler e token di controllo AI, mostra se ciascuno può recuperare quell'URL e spiega a cosa serve ognuno: addestrare modelli AI, risposte di ricerca AI, o aprire una pagina quando un utente lo chiede.
Perché è importante
Un solo `Disallow: /` fuori posto può impedire ai motori di ricerca di eseguire la scansione di un intero sito, ed è facile pubblicarlo per errore da una configurazione di staging. I crawler AI aggiungono una seconda domanda: bloccare un crawler di addestramento non ti rimuove dalle risposte di ricerca AI, ma bloccare un crawler di ricerca sì — quindi conviene sapere cosa fa ogni token.
Come funziona
-
Inserisci l'URL che vuoi testare
-
Recuperiamo `/robots.txt` e analizziamo ogni direttiva
-
Controlliamo se quell'URL è consentito per i crawler in generale e per ogni crawler AI, usando le regole di precedenza usate dai crawler reali
-
Segnaliamo un blocco dell'intero sito, un URL bloccato e una direttiva sitemap mancante, e spieghiamo ogni crawler AI
Esempio di input e output
url: https://rankproof.eu/tools
Il robots.txt sembra a posto e non blocca questa pagina. 100/100
Stato HTTP: 200 · Dimensione file: 5,3 KB · Gruppi di user-agent: 53 · Ritardo di scansione: Non impostato
robots.txt trovato OK
Nessun blocco totale OK
Questa pagina è scansionabile OK
Direttiva Sitemap presente OK
Dimensione file sotto i 500KB OK
Problemi rilevati (10):
Trovato Disallow: / per lo user-agent «Bytespider» — solo quel crawler è bloccato sull'intero sito, cosa spesso voluta.
Trovato Disallow: / per lo user-agent «Diffbot» — solo quel crawler è bloccato sull'intero sito, cosa spesso voluta.
…
Crawler di IA: Crawler di IA che possono leggere questa pagina: 13 su 13
GPTBot Consentito OpenAI: raccoglie pagine per addestrare modelli di IA.
OAI-SearchBot Consentito OpenAI: indicizza le pagine perché la sua ricerca IA possa mostrarle e citarle.
ChatGPT-User Consentito OpenAI: apre una pagina quando un utente chiede all'assistente di consultarla. Secondo il gestore, il robots.txt potrebbe non valere per queste richieste.
ClaudeBot Consentito Anthropic: raccoglie pagine per addestrare modelli di IA.
… Come leggere il risultato
- Stato HTTP (200) · Dimensione file (5,3 KB)
- Solo un 200 conta come file robots.txt. Qualsiasi altra risposta viene segnalata come file assente (25 punti), il che per un 404 è corretto: i crawler allora permettono tutto. Un errore del server è diverso per Google: smette di scansionare il sito per un massimo di 12 ore e poi si basa sull'ultima copia scaricata, quindi un robots.txt che risponde 5xx va corretto in fretta. I file oltre 500 KB costano 10 punti, perché i crawler potrebbero interrompere la lettura a quel punto.
- Gruppi di user-agent (53) · Ritardo di scansione (Non impostato)
- Quanti nomi di crawler il file definisce con regole proprie, e il valore di Crawl-delay se impostato. Google ignora Crawl-delay; altri crawler lo rispettano.
- Questa pagina è scansionabile · Nessun blocco totale
- Entrambi sono letti dal gruppo valido per tutti i crawler (User-agent: *), dove vince la regola corrispondente più lunga e, in caso di parità, Allow prevale su Disallow, come stabilisce la RFC 9309. Una regola che blocca l'indirizzo testato costa 50 punti e una che blocca l'intero sito 55: sono gli errori che tolgono un sito dalla ricerca.
- Problemi rilevati (10)
- Viene elencato ogni nome di crawler bloccato sull'intero sito, ma non costa punti: bloccare uno scraper specifico è di solito voluto, come nell'esempio. Viene elencata anche una riga Sitemap mancante, che costa 5 punti.
- Crawler di IA (13 su 13 possono leggere questa pagina)
- Per ogni crawler di IA e token di controllo applichiamo il suo gruppo specifico se il file lo nomina, altrimenti il gruppo per tutti i crawler, e testiamo l'indirizzo che hai inserito. La riga sotto ciascuno indica a cosa serve: addestramento, ricerca con IA, recupero di una pagina quando un utente lo chiede, oppure un token di controllo. "Secondo il gestore, il robots.txt potrebbe non valere" indica i fetcher che agiscono su richiesta di un utente.
Chi lo usa
-
SEO tecnico
Prima del lancio, controlla il robots.txt di produzione così una regola "blocca tutto" di staging non va mai in produzione.
-
Titolare del sito
Decidi quali crawler AI consentire: mantieni aperti i crawler di ricerca AI mentre scegli se le tue pagine possono addestrare modelli AI.
-
Content manager
Quando una sezione scompare da Google Search Console, controlla prima se robots.txt la blocca.
Problemi comuni e come risolverli
-
Disallow: / per tutti i crawler
Rimuovila, oppure limitala ai percorsi che devono davvero restare esclusi. Spesso è un residuo di un sito di staging; una regola robots.txt non può comunque proteggere un sito di staging, quindi usa lì una password.
-
La pagina che vuoi indicizzata è bloccata
Trova la regola che corrisponde al suo indirizzo (uno schema ampio come /*? o una regola su una cartella) e aggiungi un Allow più specifico o restringi il Disallow. Vince la regola corrispondente più lunga, quindi un Allow preciso prevale su un Disallow più corto.
-
Un crawler specifico ha perso le regole impostate per tutti
Un crawler con un proprio gruppo legge solo quel gruppo, non le regole sotto User-agent: *. Quando aggiungi un gruppo per un crawler, ripeti in esso ogni Disallow di cui ha ancora bisogno.
# every crawler: keep admin and cart out User-agent: * Disallow: /admin/ Disallow: /cart # a named crawler reads ONLY its own group, so repeat what it needs User-agent: GPTBot Disallow: /admin/ Disallow: /cart Disallow: /members/ Sitemap: https://example.com/sitemap-index.xml -
Nessuna riga Sitemap
Aggiungi una riga Sitemap con l'indirizzo assoluto della tua sitemap o del tuo indice delle sitemap. Ogni crawler che legge robots.txt può trovarla lì, non solo i motori di ricerca a cui l'hai inviata.
# robots.txt Sitemap: https://example.com/sitemap-index.xml -
robots.txt usato per nascondere una pagina dai risultati
Bloccare la scansione non tiene una pagina fuori dalla ricerca: un indirizzo bloccato può comunque essere elencato se altre pagine lo collegano, e Google non può vedere un tag noindex su una pagina che non può scansionare. Permetti la scansione e aggiungi invece noindex.
<meta name="robots" content="noindex">
Domande frequenti
- Cos'è robots.txt?
- Un file di testo semplice alla radice del tuo dominio che dice ai crawler quali URL possono o non possono richiedere. È standardizzato nella RFC 9309 (2022).
- Posso bloccare i crawler AI separatamente?
- Sì — ognuno ha il proprio token user-agent, come `GPTBot` o `ClaudeBot`. Diverse aziende AI gestiscono crawler separati per l'addestramento dei modelli e per la ricerca, così puoi bloccare l'addestramento restando visibile nelle loro risposte di ricerca AI.
- Cos'è Google-Extended?
- Un token di controllo, non un crawler separato. Google esegue comunque la scansione con i suoi crawler abituali; disabilitare `Google-Extended` dice a Google di non usare i tuoi contenuti per addestrare i modelli Gemini o per basare le risposte nelle app Gemini. Non influisce su Google Search né sul posizionamento.
- Tutti i crawler AI rispettano robots.txt?
- Le principali aziende AI dicono che i loro crawler lo fanno. Alcuni fetcher che agiscono su richiesta di un utente, come ChatGPT-User e Perplexity-User, potrebbero non applicare le regole di robots.txt, e il report li segnala.
- Qual è la differenza tra robots.txt e noindex?
- robots.txt impedisce la scansione. `noindex` consente la scansione ma impedisce l'indicizzazione. Se blocchi una pagina in robots.txt, Google non può vedere il suo tag noindex — un errore comune.
- Dovrei includere una direttiva sitemap?
- Sì — `Sitemap: https://example.com/sitemap.xml` aiuta ogni crawler a trovare la tua sitemap, inclusi Bing e altri motori di ricerca.
- Google rispetta sempre robots.txt?
- Per la scansione, sì. Ma un URL bloccato può comunque comparire nei risultati di ricerca se altre pagine lo collegano — senza uno snippet. Usa noindex per tenere fuori una pagina.
Fonti
La documentazione su cui si basano questo strumento e le spiegazioni di questa pagina.
- RFC 9309: Robots Exclusion Protocol — RFC Editor
- How Google Interprets the robots.txt Specification — Google Crawling Infrastructure
- Robots.txt Introduction and Guide — Google Search Central
- Overview of OpenAI Crawlers — OpenAI