Vai al contenuto

Verifica e validatore robots.txt

Risposta breve

Controlla il tuo robots.txt: le regole, la riga della sitemap, se una pagina può essere scansionata e quali crawler di IA possono leggerla.

Cosa non fa: Legge le regole come sono scritte e non può dire se un crawler le rispetta; alcuni agenti IA che agiscono su richiesta di un utente possono ignorare robots.txt, e bloccare la scansione non toglie una pagina dai risultati di ricerca.

Gratuito · Senza registrazione · Recuperato dal nostro server
Recuperiamo l’URL dal nostro server per eseguire la verifica. I risultati non vengono salvati.

Cosa fa

Recupera il tuo `/robots.txt` e analizza ogni direttiva — gruppi User-agent, regole Allow/Disallow, Sitemap e Crawl-delay. Controlla se l'URL che hai inserito è consentito, usando la stessa precedenza per corrispondenza più lunga usata dai crawler reali, e segnala un `Disallow: /` generale, una direttiva sitemap mancante e un file di dimensioni eccessive. Elenca inoltre i principali crawler e token di controllo AI, mostra se ciascuno può recuperare quell'URL e spiega a cosa serve ognuno: addestrare modelli AI, risposte di ricerca AI, o aprire una pagina quando un utente lo chiede.

Perché è importante

Un solo `Disallow: /` fuori posto può impedire ai motori di ricerca di eseguire la scansione di un intero sito, ed è facile pubblicarlo per errore da una configurazione di staging. I crawler AI aggiungono una seconda domanda: bloccare un crawler di addestramento non ti rimuove dalle risposte di ricerca AI, ma bloccare un crawler di ricerca sì — quindi conviene sapere cosa fa ogni token.

Come funziona

  1. Inserisci l'URL che vuoi testare

  2. Recuperiamo `/robots.txt` e analizziamo ogni direttiva

  3. Controlliamo se quell'URL è consentito per i crawler in generale e per ogni crawler AI, usando le regole di precedenza usate dai crawler reali

  4. Segnaliamo un blocco dell'intero sito, un URL bloccato e una direttiva sitemap mancante, e spieghiamo ogni crawler AI

Esempio di input e output

INPUT
url: https://rankproof.eu/tools
OUTPUT
Il robots.txt sembra a posto e non blocca questa pagina. 100/100
  Stato HTTP: 200 · Dimensione file: 5,3 KB · Gruppi di user-agent: 53 · Ritardo di scansione: Non impostato
  robots.txt trovato                         OK
  Nessun blocco totale                       OK
  Questa pagina è scansionabile              OK
  Direttiva Sitemap presente                 OK
  Dimensione file sotto i 500KB              OK
  Problemi rilevati (10):
    Trovato Disallow: / per lo user-agent «Bytespider» — solo quel crawler è bloccato sull'intero sito, cosa spesso voluta.
    Trovato Disallow: / per lo user-agent «Diffbot» — solo quel crawler è bloccato sull'intero sito, cosa spesso voluta.
    …

Crawler di IA: Crawler di IA che possono leggere questa pagina: 13 su 13
  GPTBot           Consentito   OpenAI: raccoglie pagine per addestrare modelli di IA.
  OAI-SearchBot    Consentito   OpenAI: indicizza le pagine perché la sua ricerca IA possa mostrarle e citarle.
  ChatGPT-User     Consentito   OpenAI: apre una pagina quando un utente chiede all'assistente di consultarla. Secondo il gestore, il robots.txt potrebbe non valere per queste richieste.
  ClaudeBot        Consentito   Anthropic: raccoglie pagine per addestrare modelli di IA.
  …

Come leggere il risultato

Stato HTTP (200) · Dimensione file (5,3 KB)
Solo un 200 conta come file robots.txt. Qualsiasi altra risposta viene segnalata come file assente (25 punti), il che per un 404 è corretto: i crawler allora permettono tutto. Un errore del server è diverso per Google: smette di scansionare il sito per un massimo di 12 ore e poi si basa sull'ultima copia scaricata, quindi un robots.txt che risponde 5xx va corretto in fretta. I file oltre 500 KB costano 10 punti, perché i crawler potrebbero interrompere la lettura a quel punto.
Gruppi di user-agent (53) · Ritardo di scansione (Non impostato)
Quanti nomi di crawler il file definisce con regole proprie, e il valore di Crawl-delay se impostato. Google ignora Crawl-delay; altri crawler lo rispettano.
Questa pagina è scansionabile · Nessun blocco totale
Entrambi sono letti dal gruppo valido per tutti i crawler (User-agent: *), dove vince la regola corrispondente più lunga e, in caso di parità, Allow prevale su Disallow, come stabilisce la RFC 9309. Una regola che blocca l'indirizzo testato costa 50 punti e una che blocca l'intero sito 55: sono gli errori che tolgono un sito dalla ricerca.
Problemi rilevati (10)
Viene elencato ogni nome di crawler bloccato sull'intero sito, ma non costa punti: bloccare uno scraper specifico è di solito voluto, come nell'esempio. Viene elencata anche una riga Sitemap mancante, che costa 5 punti.
Crawler di IA (13 su 13 possono leggere questa pagina)
Per ogni crawler di IA e token di controllo applichiamo il suo gruppo specifico se il file lo nomina, altrimenti il gruppo per tutti i crawler, e testiamo l'indirizzo che hai inserito. La riga sotto ciascuno indica a cosa serve: addestramento, ricerca con IA, recupero di una pagina quando un utente lo chiede, oppure un token di controllo. "Secondo il gestore, il robots.txt potrebbe non valere" indica i fetcher che agiscono su richiesta di un utente.

Chi lo usa

  • SEO tecnico

    Prima del lancio, controlla il robots.txt di produzione così una regola "blocca tutto" di staging non va mai in produzione.

  • Titolare del sito

    Decidi quali crawler AI consentire: mantieni aperti i crawler di ricerca AI mentre scegli se le tue pagine possono addestrare modelli AI.

  • Content manager

    Quando una sezione scompare da Google Search Console, controlla prima se robots.txt la blocca.

Problemi comuni e come risolverli

  1. Disallow: / per tutti i crawler

    Rimuovila, oppure limitala ai percorsi che devono davvero restare esclusi. Spesso è un residuo di un sito di staging; una regola robots.txt non può comunque proteggere un sito di staging, quindi usa lì una password.

  2. La pagina che vuoi indicizzata è bloccata

    Trova la regola che corrisponde al suo indirizzo (uno schema ampio come /*? o una regola su una cartella) e aggiungi un Allow più specifico o restringi il Disallow. Vince la regola corrispondente più lunga, quindi un Allow preciso prevale su un Disallow più corto.

  3. Un crawler specifico ha perso le regole impostate per tutti

    Un crawler con un proprio gruppo legge solo quel gruppo, non le regole sotto User-agent: *. Quando aggiungi un gruppo per un crawler, ripeti in esso ogni Disallow di cui ha ancora bisogno.

    # every crawler: keep admin and cart out
    User-agent: *
    Disallow: /admin/
    Disallow: /cart
    
    # a named crawler reads ONLY its own group, so repeat what it needs
    User-agent: GPTBot
    Disallow: /admin/
    Disallow: /cart
    Disallow: /members/
    
    Sitemap: https://example.com/sitemap-index.xml
  4. Nessuna riga Sitemap

    Aggiungi una riga Sitemap con l'indirizzo assoluto della tua sitemap o del tuo indice delle sitemap. Ogni crawler che legge robots.txt può trovarla lì, non solo i motori di ricerca a cui l'hai inviata.

    # robots.txt
    Sitemap: https://example.com/sitemap-index.xml
  5. robots.txt usato per nascondere una pagina dai risultati

    Bloccare la scansione non tiene una pagina fuori dalla ricerca: un indirizzo bloccato può comunque essere elencato se altre pagine lo collegano, e Google non può vedere un tag noindex su una pagina che non può scansionare. Permetti la scansione e aggiungi invece noindex.

    <meta name="robots" content="noindex">

Domande frequenti

Cos'è robots.txt?
Un file di testo semplice alla radice del tuo dominio che dice ai crawler quali URL possono o non possono richiedere. È standardizzato nella RFC 9309 (2022).
Posso bloccare i crawler AI separatamente?
Sì — ognuno ha il proprio token user-agent, come `GPTBot` o `ClaudeBot`. Diverse aziende AI gestiscono crawler separati per l'addestramento dei modelli e per la ricerca, così puoi bloccare l'addestramento restando visibile nelle loro risposte di ricerca AI.
Cos'è Google-Extended?
Un token di controllo, non un crawler separato. Google esegue comunque la scansione con i suoi crawler abituali; disabilitare `Google-Extended` dice a Google di non usare i tuoi contenuti per addestrare i modelli Gemini o per basare le risposte nelle app Gemini. Non influisce su Google Search né sul posizionamento.
Tutti i crawler AI rispettano robots.txt?
Le principali aziende AI dicono che i loro crawler lo fanno. Alcuni fetcher che agiscono su richiesta di un utente, come ChatGPT-User e Perplexity-User, potrebbero non applicare le regole di robots.txt, e il report li segnala.
Qual è la differenza tra robots.txt e noindex?
robots.txt impedisce la scansione. `noindex` consente la scansione ma impedisce l'indicizzazione. Se blocchi una pagina in robots.txt, Google non può vedere il suo tag noindex — un errore comune.
Dovrei includere una direttiva sitemap?
Sì — `Sitemap: https://example.com/sitemap.xml` aiuta ogni crawler a trovare la tua sitemap, inclusi Bing e altri motori di ricerca.
Google rispetta sempre robots.txt?
Per la scansione, sì. Ma un URL bloccato può comunque comparire nei risultati di ricerca se altre pagine lo collegano — senza uno snippet. Usa noindex per tenere fuori una pagina.

Fonti

La documentazione su cui si basano questo strumento e le spiegazioni di questa pagina.