# Generatore di robots.txt

https://rankproof.eu/it/tools/seo-robots-txt-generator

## Risposta breve

Crea un file robots.txt con percorsi bloccati, sitemap e una scelta per ogni crawler AI.

## Cosa fa

Crea un file robots.txt con i percorsi da tenere fuori dalla portata dei crawler, righe di sitemap, un Crawl-delay opzionale, e una scelta di consenti o blocca per ogni crawler AI conosciuto, raggruppati in ricerca AI, addestramento modelli e altri usi AI. Poi rilegge il file e mostra cosa ogni crawler AI può recuperare.

## Come funziona

1. Scegli se consentire la scansione o bloccare l'intero sito
2. Elenca i percorsi da tenere fuori dalla portata dei crawler e gli URL delle tue sitemap
3. Consenti o blocca ogni crawler AI, oppure parti da un preset
4. Copia o scarica il file, salvalo come /robots.txt e testa il file live con il controllo robots.txt

## Esempio di input e output

INPUT

```text
scansione: consentita · percorsi bloccati: /admin/, /cart/
preset AI: consenti ricerca AI, blocca il resto
sitemap: https://example.com/sitemap.xml
```

OUTPUT

```text
User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml
```

## Perché è importante

robots.txt indica ai crawler quali URL possono recuperare. Le aziende AI usano crawler separati per la ricerca, per recuperare una pagina che un utente chiede, e per l'addestramento dei modelli, così puoi restare visibile nella ricerca AI escludendoti dall'addestramento. Bloccare un crawler di addestramento come GPTBot non rimuove un sito dalla ricerca di ChatGPT. robots.txt è una richiesta, non un controllo degli accessi, e alcuni sistemi che agiscono per conto di un utente dichiarano di poter non seguirlo.

## Chi lo usa

- **Titolare del sito**: Resta nei risultati della ricerca AI escludendoti dall'addestramento dei modelli.
- **Specialista SEO**: Tieni i crawler fuori dal carrello, dalla ricerca interna e dalle pagine di amministrazione senza bloccare il resto del sito.
- **Sviluppatore web**: Crea un file che blocca tutto per un sito di staging.

## Domande frequenti

### Dove metto robots.txt?

Nella radice del tuo dominio, ad esempio https://example.com/robots.txt. Ogni sottodominio ha bisogno del proprio file.

### Bloccare una pagina in robots.txt la rimuove da Google?

No. robots.txt controlla la scansione, non l'indicizzazione. Un URL bloccato può comunque comparire nei risultati se altre pagine lo collegano; usa noindex o la protezione con password per tenere fuori una pagina.

### Quali crawler AI posso controllare?

I token dei crawler documentati da OpenAI, Anthropic, Perplexity, Google, Apple, Meta e Amazon, oltre a CCBot, il crawler di un archivio web aperto. Gli operatori aggiungono e ritirano token, quindi l'elenco viene controllato regolarmente; la data è mostrata sotto di esso.

### Perché i crawler AI consentiti non hanno un proprio gruppo?

Un crawler con un proprio gruppo ignora le regole per tutti i crawler (User-agent: *). Lasciare fuori i crawler consentiti mantiene valide anche per loro le regole sui percorsi bloccati.

### Google legge Crawl-delay?

No, Google lo ignora. Bing lo legge.

## Strumenti correlati in Analisi SEO

- [Verificatore di title e meta description](https://rankproof.eu/it/tools/seo-meta-title)
- [Controllo tag di intestazione](https://rankproof.eu/it/tools/seo-heading-tags)
- [Verificatore Alt Text Immagini](https://rankproof.eu/it/tools/seo-image-alt)
- [Verificatore URL Canonical](https://rankproof.eu/it/tools/seo-canonical-url)
- [Analizzatore Robots.txt](https://rankproof.eu/it/tools/seo-robots-txt)
- [Verifica Sitemap](https://rankproof.eu/it/tools/seo-sitemap)