Aller au contenu

Générateur de robots.txt

Réponse courte

Créez un fichier robots.txt avec des chemins bloqués, des sitemaps et un choix pour chaque robot d'IA.

Gratuit · Sans inscription · Fonctionne dans votre navigateur
Exploration

Commencez chaque chemin par /, par ex. /admin/ ou /cart/. Utilisez * comme joker et $ pour indiquer la fin d'une URL.

Google ignore Crawl-delay ; Bing en tient compte.

Robots d'IA

Les robots dédiés à la recherche et aux réponses IA déterminent si vos pages peuvent y être affichées ou citées. Les robots d'entraînement collectent des pages pour l'entraînement de modèles ; les bloquer ne retire pas votre site de la recherche IA.

Recherche et réponses IA
  • OAI-SearchBotOpenAI : indexe les pages pour que sa recherche IA puisse les afficher et les citer.
  • ChatGPT-UserOpenAI : ouvre une page quand un utilisateur interroge l'assistant à son sujet. Selon son opérateur, le robots.txt peut ne pas s'appliquer à ces requêtes.
  • Claude-SearchBotAnthropic : indexe les pages pour que sa recherche IA puisse les afficher et les citer.
  • Claude-UserAnthropic : ouvre une page quand un utilisateur interroge l'assistant à son sujet.
  • PerplexityBotPerplexity : indexe les pages pour que sa recherche IA puisse les afficher et les citer.
  • Perplexity-UserPerplexity : ouvre une page quand un utilisateur interroge l'assistant à son sujet. Selon son opérateur, le robots.txt peut ne pas s'appliquer à ces requêtes.
Entraînement de modèles
  • GPTBotOpenAI : collecte des pages pour entraîner des modèles d'IA.
  • ClaudeBotAnthropic : collecte des pages pour entraîner des modèles d'IA.
  • CCBotRobot d'une archive ouverte du web ; de nombreux modèles d'IA sont entraînés sur son jeu de données public.
Autres usages IA
  • Google-ExtendedGoogle : pas un robot distinct — une règle qui indique si les pages qu'il explore déjà peuvent servir à ses modèles d'IA.
  • Applebot-ExtendedApple : pas un robot distinct — une règle qui indique si les pages qu'il explore déjà peuvent servir à ses modèles d'IA.
  • meta-externalagentMeta : explore des pages pour ses propres produits ; le contenu peut aussi servir à entraîner des modèles d'IA.
  • AmazonbotAmazon : explore des pages pour ses propres produits ; le contenu peut aussi servir à entraîner des modèles d'IA.

Liste des robots d'IA vérifiée pour la dernière fois le 17/09/2026.

Votre robots.txt

User-agent: *
Allow: /

Ce que le fichier autorise sur la page d'accueil

  • GPTBotAutorisé
  • OAI-SearchBotAutorisé
  • ChatGPT-UserAutorisé
  • ClaudeBotAutorisé
  • Claude-SearchBotAutorisé
  • Claude-UserAutorisé
  • PerplexityBotAutorisé
  • Perplexity-UserAutorisé
  • Google-ExtendedAutorisé
  • Applebot-ExtendedAutorisé
  • meta-externalagentAutorisé
  • AmazonbotAutorisé
  • CCBotAutorisé

Enregistrez le fichier sous robots.txt à la racine de votre domaine (par exemple https://example.com/robots.txt), puis testez le fichier en ligne. Ouvrir l'analyseur Robots.txt

Le fichier est créé dans votre navigateur.

Ce que ça fait

Crée un fichier robots.txt avec les chemins à interdire aux robots, des lignes de sitemap, un Crawl-delay facultatif, et un choix d'autoriser ou de bloquer pour chaque robot d'IA connu, regroupés en recherche IA, entraînement de modèles et autres usages IA. Il relit ensuite le fichier et indique ce que chaque robot d'IA peut récupérer.

Pourquoi c'est important

robots.txt indique aux robots les URL qu'ils peuvent récupérer. Les entreprises d'IA utilisent des robots distincts pour la recherche, pour récupérer une page qu'un utilisateur demande, et pour l'entraînement de modèles, ce qui permet de rester visible dans la recherche IA tout en refusant l'entraînement. Bloquer un robot d'entraînement comme GPTBot ne retire pas un site de la recherche ChatGPT. robots.txt est une demande, pas un contrôle d'accès, et certains outils de récupération agissant pour un utilisateur indiquent qu'ils peuvent ne pas le respecter.

Comment ça fonctionne

  1. Choisissez d'autoriser l'exploration ou de bloquer tout le site

  2. Listez les chemins à interdire aux robots et les URL de vos sitemaps

  3. Autorisez ou bloquez chaque robot d'IA, ou partez d'un préréglage

  4. Copiez ou téléchargez le fichier, enregistrez-le sous /robots.txt et testez le fichier en ligne avec l'analyseur Robots.txt

Exemple d'entrée et de sortie
ENTRÉE
exploration : autorisée · chemins bloqués : /admin/, /cart/
préréglage IA : autoriser la recherche IA, bloquer le reste
sitemap : https://example.com/sitemap.xml
SORTIE
User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Qui l'utilise

  • Propriétaire de site

    Rester dans les résultats de recherche IA tout en refusant l'entraînement de modèles.

  • Spécialiste SEO

    Interdire aux robots le panier, la recherche interne et les pages d'administration sans bloquer le reste du site.

  • Développeur web

    Créer un fichier bloquant tout pour un site de recette.

Questions fréquentes

Où dois-je placer robots.txt ?

À la racine de votre domaine, par exemple https://example.com/robots.txt. Chaque sous-domaine a besoin de son propre fichier.

Bloquer une page dans robots.txt la retire-t-elle de Google ?

Non. robots.txt contrôle l'exploration, pas l'indexation. Une URL bloquée peut quand même apparaître dans les résultats si d'autres pages y font des liens ; utilisez noindex ou une protection par mot de passe pour exclure une page.

Quels robots d'IA puis-je contrôler ?

Les identifiants de robots documentés par OpenAI, Anthropic, Perplexity, Google, Apple, Meta et Amazon, ainsi que CCBot, le robot d'une archive web ouverte. Les opérateurs ajoutent et retirent des identifiants, la liste est donc vérifiée régulièrement ; la date est indiquée en dessous.

Pourquoi les robots d'IA autorisés n'ont-ils pas leur propre groupe ?

Un robot ayant son propre groupe ignore les règles destinées à tous les robots (User-agent: *). Ne pas donner de groupe aux robots autorisés fait que vos chemins bloqués s'appliquent aussi à eux.

Google tient-il compte de Crawl-delay ?

Non, Google l'ignore. Bing en tient compte.

Outils gratuits sur ce sujet

Guides sur ce sujet

Données d’étude sur ce sujet

Outils connexes dans Analyse SEO

Voir tous les outils Analyse SEO