Aller au contenu

Générateur de robots.txt

Réponse courte

Créez un robots.txt avec chemins bloqués, lignes sitemap et un choix autoriser/bloquer par crawler IA, puis voyez ce que chaque robot IA peut récupérer.

Ce qu’il ne fait pas: Il rédige le fichier mais ne le publie pas, et robots.txt n’est qu’une demande aux robots : il ne retire pas de pages des résultats de recherche et n’arrête pas les robots qui l’ignorent.

Gratuit · Sans inscription · Fonctionne dans votre navigateur
Exploration

Commencez chaque chemin par /, par ex. /admin/ ou /cart/. Utilisez * comme joker et $ pour indiquer la fin d'une URL.

Google ignore Crawl-delay ; Bing en tient compte.

Robots d'IA

Les robots dédiés à la recherche et aux réponses IA déterminent si vos pages peuvent y être affichées ou citées. Les robots d'entraînement collectent des pages pour l'entraînement de modèles ; les bloquer ne retire pas votre site de la recherche IA.

Recherche et réponses IA
  • OAI-SearchBotOpenAI : indexe les pages pour que sa recherche IA puisse les afficher et les citer.
  • ChatGPT-UserOpenAI : ouvre une page quand un utilisateur interroge l'assistant à son sujet. Selon son opérateur, le robots.txt peut ne pas s'appliquer à ces requêtes.
  • Claude-SearchBotAnthropic : indexe les pages pour que sa recherche IA puisse les afficher et les citer.
  • Claude-UserAnthropic : ouvre une page quand un utilisateur interroge l'assistant à son sujet.
  • PerplexityBotPerplexity : indexe les pages pour que sa recherche IA puisse les afficher et les citer.
  • Perplexity-UserPerplexity : ouvre une page quand un utilisateur interroge l'assistant à son sujet. Selon son opérateur, le robots.txt peut ne pas s'appliquer à ces requêtes.
  • meta-webindexerMeta : indexe les pages pour que sa recherche IA puisse les afficher et les citer.
  • meta-externalfetcherMeta : ouvre une page quand un utilisateur interroge l'assistant à son sujet. Selon son opérateur, le robots.txt peut ne pas s'appliquer à ces requêtes.
  • ExaSearchBotExa : indexe les pages pour que sa recherche IA puisse les afficher et les citer.
  • ExaUserExa : ouvre une page quand un utilisateur interroge l'assistant à son sujet.
  • KeenableBotKeenable : indexe les pages pour que sa recherche IA puisse les afficher et les citer.
  • Keenable-UserKeenable : ouvre une page quand un utilisateur interroge l'assistant à son sujet.
Entraînement de modèles
  • GPTBotOpenAI : collecte des pages pour entraîner des modèles d'IA.
  • ClaudeBotAnthropic : collecte des pages pour entraîner des modèles d'IA.
  • CCBotRobot d'une archive ouverte du web ; de nombreux modèles d'IA sont entraînés sur son jeu de données public.
Autres usages IA
  • Google-ExtendedGoogle : pas un robot distinct — une règle qui indique si les pages qu'il explore déjà peuvent servir à ses modèles d'IA.
  • Applebot-ExtendedApple : pas un robot distinct — une règle qui indique si les pages qu'il explore déjà peuvent servir à ses modèles d'IA.
  • meta-externalagentMeta : explore des pages pour ses propres produits ; le contenu peut aussi servir à entraîner des modèles d'IA.
  • AmazonbotAmazon : explore des pages pour ses propres produits ; le contenu peut aussi servir à entraîner des modèles d'IA.

Liste des robots d'IA vérifiée pour la dernière fois le 17/09/2026.

Votre robots.txt

User-agent: *
Allow: /

Ce que le fichier autorise sur la page d'accueil

  • GPTBotAutorisé
  • OAI-SearchBotAutorisé
  • ChatGPT-UserAutorisé
  • ClaudeBotAutorisé
  • Claude-SearchBotAutorisé
  • Claude-UserAutorisé
  • PerplexityBotAutorisé
  • Perplexity-UserAutorisé
  • Google-ExtendedAutorisé
  • Applebot-ExtendedAutorisé
  • meta-externalagentAutorisé
  • meta-webindexerAutorisé
  • meta-externalfetcherAutorisé
  • ExaSearchBotAutorisé
  • ExaUserAutorisé
  • KeenableBotAutorisé
  • Keenable-UserAutorisé
  • AmazonbotAutorisé
  • CCBotAutorisé

Enregistrez le fichier sous robots.txt à la racine de votre domaine (par exemple https://example.com/robots.txt), puis testez le fichier en ligne. Ouvrir l'analyseur Robots.txt

Le fichier est créé dans votre navigateur.

Ce que ça fait

Crée un fichier robots.txt avec les chemins à interdire aux robots, des lignes de sitemap, un Crawl-delay facultatif, et un choix d'autoriser ou de bloquer pour chaque robot d'IA connu, regroupés en recherche IA, entraînement de modèles et autres usages IA. Il relit ensuite le fichier et indique ce que chaque robot d'IA peut récupérer.

Pourquoi c'est important

robots.txt indique aux robots les URL qu'ils peuvent récupérer. Les entreprises d'IA utilisent des robots distincts pour la recherche, pour récupérer une page qu'un utilisateur demande, et pour l'entraînement de modèles, ce qui permet de rester visible dans la recherche IA tout en refusant l'entraînement. Bloquer un robot d'entraînement comme GPTBot ne retire pas un site de la recherche ChatGPT. robots.txt est une demande, pas un contrôle d'accès, et certains outils de récupération agissant pour un utilisateur indiquent qu'ils peuvent ne pas le respecter.

Comment ça fonctionne

  1. Choisissez d'autoriser l'exploration ou de bloquer tout le site

  2. Listez les chemins à interdire aux robots et les URL de vos sitemaps

  3. Autorisez ou bloquez chaque robot d'IA, ou partez d'un préréglage

  4. Copiez ou téléchargez le fichier, enregistrez-le sous /robots.txt et testez le fichier en ligne avec l'analyseur Robots.txt

Exemple d'entrée et de sortie

ENTRÉE
exploration : autorisée · chemins bloqués : /admin/, /cart/
préréglage IA : recherche IA uniquement
sitemap : https://example.com/sitemap.xml
SORTIE
User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Ce que le fichier autorise sur la page d'accueil :
  GPTBot Bloqué · OAI-SearchBot Autorisé · ChatGPT-User Autorisé
  ClaudeBot Bloqué · Claude-SearchBot Autorisé · PerplexityBot Autorisé
  Google-Extended Bloqué · CCBot Bloqué

Comment lire le résultat

Le groupe User-agent: *
Les règles pour tous les robots : ici Disallow: /admin/ et Disallow: /cart/, les deux chemins de l'exemple. Tout ce qui n'est pas interdit peut être exploré. Le robots.txt est une demande que suivent les robots respectueux, pas un verrou.
Le groupe des robots IA
Chaque robot IA réglé sur Bloquer figure dans un groupe qui se termine par Disallow: /. L'exemple utilise le préréglage qui n'autorise que la recherche IA : les robots d'entraînement sont bloqués (GPTBot, ClaudeBot, CCBot et d'autres), tandis que les agents de recherche et d'utilisateur qui récupèrent les pages pour les citer restent autorisés.
La ligne Sitemap
Une ligne par sitemap, toujours avec l'adresse complète en https://. Elle vaut pour tous les robots, quel que soit son emplacement dans le fichier.
Ce que le fichier autorise sur la page d'accueil
Le fichier généré est relu avec les mêmes règles RFC 9309 que les robots et testé sur la page d'accueil pour chaque robot IA. Dans l'exemple, GPTBot est bloqué et OAI-SearchBot autorisé : la même entreprise a des robots distincts pour l'entraînement et pour la recherche.
Google-Extended et Applebot-Extended
Ce ne sont pas des robots mais des jetons qui indiquent si le contenu que Google et Apple explorent déjà peut servir à leurs modèles d'IA. Les bloquer n'empêche pas Googlebot ni Applebot d'explorer le site pour la recherche.

Qui l'utilise

  • Propriétaire de site

    Rester dans les résultats de recherche IA tout en refusant l'entraînement de modèles.

  • Spécialiste SEO

    Interdire aux robots le panier, la recherche interne et les pages d'administration sans bloquer le reste du site.

  • Développeur web

    Créer un fichier bloquant tout pour un site de recette.

Problèmes fréquents et comment les corriger

  1. Vous voulez retirer une page des résultats

    Le robots.txt ne retire pas les pages : une URL bloquée peut rester listée si d'autres sites pointent vers elle. Laissez la page être explorée et ajoutez plutôt une balise meta robots noindex.

    <meta name="robots" content="noindex">
  2. Le CSS ou le JavaScript est bloqué

    N'interdisez pas les dossiers des feuilles de style et des scripts dont vos pages ont besoin : les moteurs affichent les pages et les jugent sur ce qu'ils voient. Bloquez plutôt les zones privées comme l'administration, le panier et le compte.

  3. Compter sur Crawl-delay

    Google ignore Crawl-delay ; Bing et quelques autres robots le respectent. Si Googlebot explore trop vite, améliorez la vitesse du serveur ou laissez-le répondre 503 ou 429 un court moment.

  4. Le fichier n'est pas au bon endroit

    Les robots ne lisent le robots.txt qu'à la racine de chaque hôte : https://example.com/robots.txt couvre example.com, pas www.example.com ni shop.example.com, qui ont besoin de leur propre fichier.

  5. Bloquer tous les robots IA

    Bloquer aussi les agents de recherche et d'utilisateur IA écarte vos pages des réponses qui citent leurs sources. Si vous voulez seulement rester hors de l'entraînement des modèles, bloquez les robots d'entraînement et gardez ceux de recherche autorisés.

Questions fréquentes

Où dois-je placer robots.txt ?
À la racine de votre domaine, par exemple https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.
Bloquer une page dans robots.txt la retire-t-elle de Google ?
Non. robots.txt contrôle l'exploration, pas l'indexation. Une URL bloquée peut quand même apparaître dans les résultats si d'autres pages y font des liens ; utilisez noindex ou une protection par mot de passe pour exclure une page.
Quels robots d'IA puis-je contrôler ?
Les identifiants de robots documentés par OpenAI, Anthropic, Perplexity, Google, Apple, Meta et Amazon, ainsi que CCBot, le robot d'une archive web ouverte. Les opérateurs ajoutent et retirent des identifiants, la liste est donc vérifiée régulièrement ; la date est indiquée en dessous.
Pourquoi les robots d'IA autorisés n'ont-ils pas leur propre groupe ?
Un robot ayant son propre groupe ignore les règles destinées à tous les robots (User-agent: *). Ne pas donner de groupe aux robots autorisés fait que vos chemins bloqués s'appliquent aussi à eux.
Google tient-il compte de Crawl-delay ?
Non, Google l'ignore. Bing en tient compte.

Sources

La documentation sur laquelle reposent cet outil et les explications de cette page.