Vérificateur et validateur robots.txt
Réponse courte
Vérifiez votre robots.txt : ses règles, la ligne sitemap, si une page peut être explorée et quels robots d'IA peuvent la lire.
Ce qu’il ne fait pas: Il lit les règles telles qu’elles sont écrites et ne peut pas dire si un robot les respecte ; certains agents IA qui agissent à la demande d’un utilisateur peuvent ignorer robots.txt, et bloquer l’exploration ne retire pas une page des résultats de recherche.
Ce que ça fait
Récupère votre `/robots.txt` et analyse chaque directive — groupes User-agent, règles Allow/Disallow, Sitemap et Crawl-delay. Vérifie si l'URL que vous avez saisie est autorisée, en utilisant le même ordre de priorité par correspondance la plus longue que les robots réels, et signale un `Disallow: /` général, une directive sitemap manquante et un fichier surdimensionné. Il liste aussi les principaux robots IA et jetons de contrôle, indique si chacun peut récupérer cette URL et explique à quoi sert chacun : entraîner des modèles d'IA, alimenter des réponses de recherche IA, ou ouvrir une page quand un utilisateur le demande.
Pourquoi c'est important
Un seul `Disallow: /` malencontreux peut empêcher les moteurs de recherche d'explorer tout un site, et il est facile de le publier par accident depuis une configuration de préproduction. Les robots IA ajoutent une seconde question : bloquer un robot d'entraînement ne vous retire pas des réponses de recherche IA, mais bloquer un robot de recherche le peut — mieux vaut donc savoir ce que fait chaque jeton.
Comment ça fonctionne
-
Saisissez l'URL que vous voulez tester
-
Nous récupérons `/robots.txt` et analysons chaque directive
-
Vérifiez si cette URL est autorisée pour les robots en général et pour chaque robot IA, en utilisant les règles de priorité que suivent les robots réels
-
Signalez un blocage de tout le site, une URL bloquée et une directive sitemap manquante, et expliquez chaque robot IA
Exemple d'entrée et de sortie
url: https://rankproof.eu/tools
robots.txt semble correct et ne bloque pas cette page. 100/100
Statut HTTP: 200 · Taille du fichier: 5,3 Ko · Groupes de user-agents: 53 · Délai d'exploration: Non défini
robots.txt trouvé OK
Pas de blocage global OK
Cette page est explorable OK
Directive Sitemap présente OK
Taille de fichier inférieure à 500KB OK
Problèmes détectés (10):
Disallow : / trouvé pour le user-agent « Bytespider » — seul ce robot est bloqué sur tout le site, ce qui est souvent volontaire.
Disallow : / trouvé pour le user-agent « Diffbot » — seul ce robot est bloqué sur tout le site, ce qui est souvent volontaire.
…
Robots d'IA: Robots d'IA autorisés à lire cette page : 13 sur 13
GPTBot Autorisé OpenAI : collecte des pages pour entraîner des modèles d'IA.
OAI-SearchBot Autorisé OpenAI : indexe les pages pour que sa recherche IA puisse les afficher et les citer.
ChatGPT-User Autorisé OpenAI : ouvre une page quand un utilisateur interroge l'assistant à son sujet. Selon son opérateur, le robots.txt peut ne pas s'appliquer à ces requêtes.
ClaudeBot Autorisé Anthropic : collecte des pages pour entraîner des modèles d'IA.
… Comment lire le résultat
- Statut HTTP (200) · Taille du fichier (5,3 Ko)
- Seul un 200 compte comme un fichier robots.txt. Toute autre réponse est signalée comme fichier absent (25 points), ce qui pour un 404 est correct : les robots autorisent alors tout. Une erreur serveur est différente pour Google : il arrête d'explorer le site jusqu'à 12 heures puis se fie à la dernière copie récupérée ; un robots.txt qui répond en 5xx doit donc être corrigé rapidement. Les fichiers de plus de 500 Ko coûtent 10 points, car les robots peuvent arrêter la lecture à ce stade.
- Groupes de user-agents (53) · Délai d'exploration (Non défini)
- Combien de noms de robots reçoivent des règles dans le fichier, et la valeur de Crawl-delay si elle est définie. Google ignore Crawl-delay ; d'autres robots la respectent.
- Cette page est explorable · Pas de blocage global
- Les deux sont lus dans le groupe valable pour tous les robots (User-agent: *), la règle la plus longue l'emportant et Allow battant Disallow en cas d'égalité, comme le prévoit la RFC 9309. Une règle qui bloque l'adresse testée coûte 50 points, et une qui bloque tout le site, 55 : ce sont les erreurs qui font sortir un site de la recherche.
- Problèmes détectés (10)
- Chaque nom de robot bloqué sur tout le site est listé, mais ne coûte aucun point : bloquer un scraper nommé est généralement volontaire, comme dans l'exemple. L'absence de directive Sitemap est également listée et coûte 5 points.
- Robots d'IA (13 sur 13 autorisés à lire cette page)
- Pour chaque robot d'IA et jeton de contrôle, nous appliquons son propre groupe si le fichier le nomme, sinon le groupe valable pour tous les robots, et nous testons l'adresse que vous avez saisie. La ligne sous chacun indique son usage : entraînement, recherche IA, récupération d'une page à la demande d'un utilisateur, ou jeton de contrôle. « Selon son opérateur, le robots.txt peut ne pas s'appliquer » signale les récupérateurs qui agissent sur demande d'un utilisateur.
Qui l'utilise
-
SEO technique
Avant le lancement, vérifiez le robots.txt de production pour qu'une règle « tout bloquer » de préproduction ne se retrouve jamais en ligne.
-
Propriétaire de site
Décidez quels robots IA autoriser : gardez les robots de recherche IA ouverts tout en choisissant si vos pages peuvent entraîner des modèles d'IA.
-
Responsable de contenu
Quand une section disparaît de Google Search Console, vérifiez d'abord si robots.txt la bloque.
Problèmes fréquents et comment les corriger
-
Disallow: / pour tous les robots
Supprimez-la, ou limitez-la aux chemins qui doivent vraiment rester hors d'accès. Elle provient souvent d'un site de préproduction oublié ; une règle robots.txt ne peut de toute façon pas protéger un site de préproduction, utilisez plutôt un mot de passe à cet endroit.
-
La page que vous voulez indexer est bloquée
Trouvez la règle qui correspond à son adresse (un motif large comme /*? ou une règle de dossier) et ajoutez un Allow plus précis ou restreignez le Disallow. La règle la plus longue l'emporte, donc un Allow précis prime sur un Disallow court.
-
Un robot nommé a perdu les règles définies pour tous
Un robot qui a son propre groupe ne lit que ce groupe, pas les règles sous User-agent: *. Quand vous ajoutez un groupe pour un robot, reportez-y chaque Disallow dont il a encore besoin.
# every crawler: keep admin and cart out User-agent: * Disallow: /admin/ Disallow: /cart # a named crawler reads ONLY its own group, so repeat what it needs User-agent: GPTBot Disallow: /admin/ Disallow: /cart Disallow: /members/ Sitemap: https://example.com/sitemap-index.xml -
Pas de directive Sitemap
Ajoutez une directive Sitemap avec l'adresse absolue de votre sitemap ou de votre index de sitemaps. Tout robot qui lit robots.txt peut ainsi la trouver, pas seulement les moteurs de recherche où vous l'avez soumise.
# robots.txt Sitemap: https://example.com/sitemap-index.xml -
robots.txt utilisé pour cacher une page des résultats
Bloquer l'exploration ne garde pas une page hors de la recherche : une adresse bloquée peut quand même être listée si d'autres pages y renvoient, et Google ne peut pas voir une balise noindex sur une page qu'il n'a pas le droit d'explorer. Autorisez plutôt l'exploration et ajoutez noindex.
<meta name="robots" content="noindex">
Questions fréquentes
- Qu'est-ce que robots.txt ?
- Un fichier texte brut à la racine de votre domaine qui indique aux robots quelles URL ils peuvent ou non demander. Il est normalisé dans la RFC 9309 (2022).
- Puis-je bloquer les robots IA séparément ?
- Oui — chacun possède son propre jeton user-agent, comme `GPTBot` ou `ClaudeBot`. Plusieurs entreprises d'IA exploitent des robots distincts pour l'entraînement de modèles et pour la recherche, afin que vous puissiez bloquer l'entraînement tout en restant visible dans leurs réponses de recherche IA.
- Qu'est-ce que Google-Extended ?
- Un jeton de contrôle, pas un robot distinct. Google explore de toute façon avec ses robots habituels ; interdire `Google-Extended` indique à Google de ne pas utiliser votre contenu pour entraîner les modèles Gemini ni pour appuyer les réponses dans les applications Gemini. Cela n'affecte ni la Recherche Google ni le classement.
- Tous les robots IA respectent-ils robots.txt ?
- Les grandes entreprises d'IA affirment que leurs robots le font. Certains outils qui agissent sur demande d'un utilisateur, comme ChatGPT-User et Perplexity-User, peuvent ne pas appliquer les règles de robots.txt, et le rapport les signale.
- Quelle est la différence entre robots.txt et noindex ?
- robots.txt empêche l'exploration. `noindex` autorise l'exploration mais empêche l'indexation. Si vous bloquez une page dans robots.txt, Google ne peut pas voir sa balise noindex — une erreur courante.
- Dois-je inclure une directive sitemap ?
- Oui — `Sitemap: https://example.com/sitemap.xml` aide chaque robot à trouver votre sitemap, y compris Bing et d'autres moteurs de recherche.
- Google respecte-t-il toujours robots.txt ?
- Pour l'exploration, oui. Mais une URL bloquée peut quand même apparaître dans les résultats de recherche si d'autres pages y renvoient — sans extrait. Utilisez noindex pour exclure une page.
Sources
La documentation sur laquelle reposent cet outil et les explications de cette page.
- RFC 9309: Robots Exclusion Protocol — RFC Editor
- How Google Interprets the robots.txt Specification — Google Crawling Infrastructure
- Robots.txt Introduction and Guide — Google Search Central
- Overview of OpenAI Crawlers — OpenAI