Générateur de robots.txt
Réponse courte
Créez un robots.txt avec chemins bloqués, lignes sitemap et un choix autoriser/bloquer par crawler IA, puis voyez ce que chaque robot IA peut récupérer.
Ce qu’il ne fait pas: Il rédige le fichier mais ne le publie pas, et robots.txt n’est qu’une demande aux robots : il ne retire pas de pages des résultats de recherche et n’arrête pas les robots qui l’ignorent.
Commencez chaque chemin par /, par ex. /admin/ ou /cart/. Utilisez * comme joker et $ pour indiquer la fin d'une URL.
Google ignore Crawl-delay ; Bing en tient compte.
Robots d'IA
Les robots dédiés à la recherche et aux réponses IA déterminent si vos pages peuvent y être affichées ou citées. Les robots d'entraînement collectent des pages pour l'entraînement de modèles ; les bloquer ne retire pas votre site de la recherche IA.
Liste des robots d'IA vérifiée pour la dernière fois le 17/09/2026.
Votre robots.txt
User-agent: * Allow: /
Ce que le fichier autorise sur la page d'accueil
- GPTBotAutorisé
- OAI-SearchBotAutorisé
- ChatGPT-UserAutorisé
- ClaudeBotAutorisé
- Claude-SearchBotAutorisé
- Claude-UserAutorisé
- PerplexityBotAutorisé
- Perplexity-UserAutorisé
- Google-ExtendedAutorisé
- Applebot-ExtendedAutorisé
- meta-externalagentAutorisé
- meta-webindexerAutorisé
- meta-externalfetcherAutorisé
- ExaSearchBotAutorisé
- ExaUserAutorisé
- KeenableBotAutorisé
- Keenable-UserAutorisé
- AmazonbotAutorisé
- CCBotAutorisé
Enregistrez le fichier sous robots.txt à la racine de votre domaine (par exemple https://example.com/robots.txt), puis testez le fichier en ligne. Ouvrir l'analyseur Robots.txt
Le fichier est créé dans votre navigateur.
Ce que ça fait
Crée un fichier robots.txt avec les chemins à interdire aux robots, des lignes de sitemap, un Crawl-delay facultatif, et un choix d'autoriser ou de bloquer pour chaque robot d'IA connu, regroupés en recherche IA, entraînement de modèles et autres usages IA. Il relit ensuite le fichier et indique ce que chaque robot d'IA peut récupérer.
Pourquoi c'est important
robots.txt indique aux robots les URL qu'ils peuvent récupérer. Les entreprises d'IA utilisent des robots distincts pour la recherche, pour récupérer une page qu'un utilisateur demande, et pour l'entraînement de modèles, ce qui permet de rester visible dans la recherche IA tout en refusant l'entraînement. Bloquer un robot d'entraînement comme GPTBot ne retire pas un site de la recherche ChatGPT. robots.txt est une demande, pas un contrôle d'accès, et certains outils de récupération agissant pour un utilisateur indiquent qu'ils peuvent ne pas le respecter.
Comment ça fonctionne
-
Choisissez d'autoriser l'exploration ou de bloquer tout le site
-
Listez les chemins à interdire aux robots et les URL de vos sitemaps
-
Autorisez ou bloquez chaque robot d'IA, ou partez d'un préréglage
-
Copiez ou téléchargez le fichier, enregistrez-le sous /robots.txt et testez le fichier en ligne avec l'analyseur Robots.txt
Exemple d'entrée et de sortie
exploration : autorisée · chemins bloqués : /admin/, /cart/ préréglage IA : recherche IA uniquement sitemap : https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml Ce que le fichier autorise sur la page d'accueil : GPTBot Bloqué · OAI-SearchBot Autorisé · ChatGPT-User Autorisé ClaudeBot Bloqué · Claude-SearchBot Autorisé · PerplexityBot Autorisé Google-Extended Bloqué · CCBot Bloqué
Comment lire le résultat
- Le groupe User-agent: *
- Les règles pour tous les robots : ici Disallow: /admin/ et Disallow: /cart/, les deux chemins de l'exemple. Tout ce qui n'est pas interdit peut être exploré. Le robots.txt est une demande que suivent les robots respectueux, pas un verrou.
- Le groupe des robots IA
- Chaque robot IA réglé sur Bloquer figure dans un groupe qui se termine par Disallow: /. L'exemple utilise le préréglage qui n'autorise que la recherche IA : les robots d'entraînement sont bloqués (GPTBot, ClaudeBot, CCBot et d'autres), tandis que les agents de recherche et d'utilisateur qui récupèrent les pages pour les citer restent autorisés.
- La ligne Sitemap
- Une ligne par sitemap, toujours avec l'adresse complète en https://. Elle vaut pour tous les robots, quel que soit son emplacement dans le fichier.
- Ce que le fichier autorise sur la page d'accueil
- Le fichier généré est relu avec les mêmes règles RFC 9309 que les robots et testé sur la page d'accueil pour chaque robot IA. Dans l'exemple, GPTBot est bloqué et OAI-SearchBot autorisé : la même entreprise a des robots distincts pour l'entraînement et pour la recherche.
- Google-Extended et Applebot-Extended
- Ce ne sont pas des robots mais des jetons qui indiquent si le contenu que Google et Apple explorent déjà peut servir à leurs modèles d'IA. Les bloquer n'empêche pas Googlebot ni Applebot d'explorer le site pour la recherche.
Qui l'utilise
-
Propriétaire de site
Rester dans les résultats de recherche IA tout en refusant l'entraînement de modèles.
-
Spécialiste SEO
Interdire aux robots le panier, la recherche interne et les pages d'administration sans bloquer le reste du site.
-
Développeur web
Créer un fichier bloquant tout pour un site de recette.
Problèmes fréquents et comment les corriger
-
Vous voulez retirer une page des résultats
Le robots.txt ne retire pas les pages : une URL bloquée peut rester listée si d'autres sites pointent vers elle. Laissez la page être explorée et ajoutez plutôt une balise meta robots noindex.
<meta name="robots" content="noindex"> -
Le CSS ou le JavaScript est bloqué
N'interdisez pas les dossiers des feuilles de style et des scripts dont vos pages ont besoin : les moteurs affichent les pages et les jugent sur ce qu'ils voient. Bloquez plutôt les zones privées comme l'administration, le panier et le compte.
-
Compter sur Crawl-delay
Google ignore Crawl-delay ; Bing et quelques autres robots le respectent. Si Googlebot explore trop vite, améliorez la vitesse du serveur ou laissez-le répondre 503 ou 429 un court moment.
-
Le fichier n'est pas au bon endroit
Les robots ne lisent le robots.txt qu'à la racine de chaque hôte : https://example.com/robots.txt couvre example.com, pas www.example.com ni shop.example.com, qui ont besoin de leur propre fichier.
-
Bloquer tous les robots IA
Bloquer aussi les agents de recherche et d'utilisateur IA écarte vos pages des réponses qui citent leurs sources. Si vous voulez seulement rester hors de l'entraînement des modèles, bloquez les robots d'entraînement et gardez ceux de recherche autorisés.
Questions fréquentes
- Où dois-je placer robots.txt ?
- À la racine de votre domaine, par exemple https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
- Bloquer une page dans robots.txt la retire-t-elle de Google ?
- Non. robots.txt contrôle l'exploration, pas l'indexation. Une URL bloquée peut quand même apparaître dans les résultats si d'autres pages y font des liens ; utilisez noindex ou une protection par mot de passe pour exclure une page.
- Quels robots d'IA puis-je contrôler ?
- Les identifiants de robots documentés par OpenAI, Anthropic, Perplexity, Google, Apple, Meta et Amazon, ainsi que CCBot, le robot d'une archive web ouverte. Les opérateurs ajoutent et retirent des identifiants, la liste est donc vérifiée régulièrement ; la date est indiquée en dessous.
- Pourquoi les robots d'IA autorisés n'ont-ils pas leur propre groupe ?
- Un robot ayant son propre groupe ignore les règles destinées à tous les robots (User-agent: *). Ne pas donner de groupe aux robots autorisés fait que vos chemins bloqués s'appliquent aussi à eux.
- Google tient-il compte de Crawl-delay ?
- Non, Google l'ignore. Bing en tient compte.
Sources
La documentation sur laquelle reposent cet outil et les explications de cette page.
- RFC 9309: Robots Exclusion Protocol — RFC Editor
- Create and Submit a robots.txt File — Google Search Central
- Google's common crawlers — Google Search Central
- Robots Meta Tags Specifications — Google Search Central