# Générateur de robots.txt

https://rankproof.eu/fr/tools/seo-robots-txt-generator

## Réponse courte

Créez un fichier robots.txt avec des chemins bloqués, des sitemaps et un choix pour chaque robot d'IA.

## Ce que ça fait

Crée un fichier robots.txt avec les chemins à interdire aux robots, des lignes de sitemap, un Crawl-delay facultatif, et un choix d'autoriser ou de bloquer pour chaque robot d'IA connu, regroupés en recherche IA, entraînement de modèles et autres usages IA. Il relit ensuite le fichier et indique ce que chaque robot d'IA peut récupérer.

## Comment ça fonctionne

1. Choisissez d'autoriser l'exploration ou de bloquer tout le site
2. Listez les chemins à interdire aux robots et les URL de vos sitemaps
3. Autorisez ou bloquez chaque robot d'IA, ou partez d'un préréglage
4. Copiez ou téléchargez le fichier, enregistrez-le sous /robots.txt et testez le fichier en ligne avec l'analyseur Robots.txt

## Exemple d'entrée et de sortie

ENTRÉE

```text
exploration : autorisée · chemins bloqués : /admin/, /cart/
préréglage IA : autoriser la recherche IA, bloquer le reste
sitemap : https://example.com/sitemap.xml
```

SORTIE

```text
User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml
```

## Pourquoi c'est important

robots.txt indique aux robots les URL qu'ils peuvent récupérer. Les entreprises d'IA utilisent des robots distincts pour la recherche, pour récupérer une page qu'un utilisateur demande, et pour l'entraînement de modèles, ce qui permet de rester visible dans la recherche IA tout en refusant l'entraînement. Bloquer un robot d'entraînement comme GPTBot ne retire pas un site de la recherche ChatGPT. robots.txt est une demande, pas un contrôle d'accès, et certains outils de récupération agissant pour un utilisateur indiquent qu'ils peuvent ne pas le respecter.

## Qui l'utilise

- **Propriétaire de site**: Rester dans les résultats de recherche IA tout en refusant l'entraînement de modèles.
- **Spécialiste SEO**: Interdire aux robots le panier, la recherche interne et les pages d'administration sans bloquer le reste du site.
- **Développeur web**: Créer un fichier bloquant tout pour un site de recette.

## Questions fréquentes

### Où dois-je placer robots.txt ?

À la racine de votre domaine, par exemple https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.

### Bloquer une page dans robots.txt la retire-t-elle de Google ?

Non. robots.txt contrôle l'exploration, pas l'indexation. Une URL bloquée peut quand même apparaître dans les résultats si d'autres pages y font des liens ; utilisez noindex ou une protection par mot de passe pour exclure une page.

### Quels robots d'IA puis-je contrôler ?

Les identifiants de robots documentés par OpenAI, Anthropic, Perplexity, Google, Apple, Meta et Amazon, ainsi que CCBot, le robot d'une archive web ouverte. Les opérateurs ajoutent et retirent des identifiants, la liste est donc vérifiée régulièrement ; la date est indiquée en dessous.

### Pourquoi les robots d'IA autorisés n'ont-ils pas leur propre groupe ?

Un robot ayant son propre groupe ignore les règles destinées à tous les robots (User-agent: *). Ne pas donner de groupe aux robots autorisés fait que vos chemins bloqués s'appliquent aussi à eux.

### Google tient-il compte de Crawl-delay ?

Non, Google l'ignore. Bing en tient compte.

## Outils connexes dans Analyse SEO

- [Vérificateur de titre et méta description](https://rankproof.eu/fr/tools/seo-meta-title)
- [Vérificateur de balises de titre](https://rankproof.eu/fr/tools/seo-heading-tags)
- [Vérificateur d'alt text d'images](https://rankproof.eu/fr/tools/seo-image-alt)
- [Vérificateur d'URL canonique](https://rankproof.eu/fr/tools/seo-canonical-url)
- [Analyseur Robots.txt](https://rankproof.eu/fr/tools/seo-robots-txt)
- [Vérificateur de sitemap](https://rankproof.eu/fr/tools/seo-sitemap)