Saltar al contenido

Comprobador y validador de robots.txt

Respuesta breve

Comprueba tu robots.txt: sus reglas, la línea del sitemap, si una página se puede rastrear y qué rastreadores de IA pueden leerla.

Lo que no hace: Lee las reglas tal como están escritas y no puede saber si un rastreador las cumple; algunos agentes de IA que actúan a petición de un usuario pueden ignorar robots.txt, y bloquear el rastreo no quita una página de los resultados de búsqueda.

Gratis · Sin registro · Obtenido por nuestro servidor
Obtenemos la URL desde nuestro servidor para hacer la comprobación. Los resultados no se guardan.

Qué hace

Obtiene tu `/robots.txt` y analiza todas sus directivas — grupos de User-agent, reglas Allow/Disallow, Sitemap y Crawl-delay. Comprueba si la URL que has introducido está permitida, usando el mismo criterio de precedencia por coincidencia más larga que usan los rastreadores reales, y marca un `Disallow: /` general, una directiva de sitemap ausente y un archivo con un tamaño excesivo. También enumera los principales rastreadores y tokens de control de IA, muestra si cada uno puede obtener esa URL y explica para qué sirve cada uno: entrenar modelos de IA, respuestas de búsqueda con IA o abrir una página cuando un usuario lo solicita.

Por qué importa

Un simple `Disallow: /` puede impedir que los buscadores rastreen todo un sitio, y es fácil publicarlo por accidente desde una configuración de staging. Los rastreadores de IA añaden una segunda cuestión: bloquear un rastreador de entrenamiento no te elimina de las respuestas de búsqueda con IA, pero bloquear un rastreador de búsqueda sí puede hacerlo — así que conviene saber qué hace cada token.

Cómo funciona

  1. Introduce la URL que quieres probar

  2. Obtenemos `/robots.txt` y analizamos todas sus directivas

  3. Comprobamos si esa URL está permitida para los rastreadores en general y para cada rastreador de IA, usando las reglas de precedencia que usan los rastreadores reales

  4. Marcamos un bloqueo de todo el sitio, una URL bloqueada y una directiva de sitemap ausente, y explicamos cada rastreador de IA

Ejemplo de entrada y salida

ENTRADA
url: https://rankproof.eu/tools
SALIDA
robots.txt se ve bien y no bloquea esta página. 100/100
  Estado HTTP: 200 · Tamaño del archivo: 5,3 KB · Grupos de user-agent: 53 · Retardo de rastreo: Sin definir
  robots.txt encontrado                      OK
  Sin bloqueo total                          OK
  Esta página es rastreable                  OK
  Directiva Sitemap presente                 OK
  Tamaño de archivo por debajo de 500KB      OK
  Problemas encontrados (10):
    Se encontró Disallow: / para el user-agent «Bytespider» — solo ese rastreador queda bloqueado en todo el sitio, algo que suele ser intencionado.
    Se encontró Disallow: / para el user-agent «Diffbot» — solo ese rastreador queda bloqueado en todo el sitio, algo que suele ser intencionado.
    …

Rastreadores de IA: Rastreadores de IA que pueden leer esta página: 13 de 13
  GPTBot           Permitido   OpenAI: recopila páginas para entrenar modelos de IA.
  OAI-SearchBot    Permitido   OpenAI: indexa páginas para que su búsqueda con IA pueda mostrarlas y citarlas.
  ChatGPT-User     Permitido   OpenAI: abre una página cuando un usuario pregunta al asistente por ella. Según su operador, el robots.txt puede no aplicarse a estas solicitudes.
  ClaudeBot        Permitido   Anthropic: recopila páginas para entrenar modelos de IA.
  …

Cómo leer el resultado

Estado HTTP (200) · Tamaño del archivo (5,3 KB)
Solo un 200 cuenta como archivo robots.txt. Cualquier otra respuesta se indica como archivo ausente (resta 25 puntos), lo cual es correcto para un 404: entonces los rastreadores lo permiten todo. Un error del servidor es distinto para Google: deja de rastrear el sitio durante un máximo de 12 horas y después confía en la última copia que obtuvo, así que un robots.txt que responde 5xx hay que corregirlo cuanto antes. Los archivos de más de 500 KB restan 10 puntos, porque los rastreadores pueden dejar de leer a partir de ahí.
Grupos de user-agent (53) · Retardo de rastreo (Sin definir)
A cuántos nombres de rastreador el archivo da reglas, y el valor de Crawl-delay si hay uno definido. Google ignora Crawl-delay; otros rastreadores sí lo respetan.
Esta página es rastreable · Sin bloqueo total
Ambas se leen del grupo para todos los rastreadores (User-agent: *), donde gana la regla que coincide con más caracteres y, en caso de empate, Allow vence a Disallow, tal como establece la RFC 9309. Una regla que bloquea la dirección probada resta 50 puntos, y una que bloquea todo el sitio resta 55: son los errores que sacan a un sitio de la búsqueda.
Problemas encontrados (10)
Se lista cada nombre de rastreador bloqueado en todo el sitio, pero no resta puntos: bloquear un scraper concreto suele ser intencionado, como en el ejemplo. También se lista la ausencia de una línea Sitemap, que sí resta 5 puntos.
Rastreadores de IA (13 de 13 pueden leer esta página)
Para cada rastreador de IA y token de control aplicamos su propio grupo si el archivo lo nombra, o si no el grupo para todos los rastreadores, y comprobamos la dirección que has introducido. La línea debajo de cada uno indica para qué sirve: entrenamiento, búsqueda con IA, obtener una página cuando un usuario la pide, o un token de control. «Según su operador, el robots.txt puede no aplicarse a estas solicitudes» marca a los que actúan a petición de un usuario.

Quién lo usa

  • SEO técnico

    Antes del lanzamiento, comprueba el robots.txt de producción para que una regla de "bloquear todo" de staging nunca llegue a producción.

  • Propietario del sitio

    Decide qué rastreadores de IA permitir: mantén abiertos los rastreadores de búsqueda con IA mientras eliges si tus páginas pueden entrenar modelos de IA.

  • Gestor de contenidos

    Cuando una sección desaparece de Google Search Console, comprueba primero si robots.txt la bloquea.

Problemas frecuentes y cómo solucionarlos

  1. Disallow: / para todos los rastreadores

    Elimínalo, o redúcelo a las rutas que realmente deben quedar fuera. A menudo es un resto de un sitio de pruebas; una regla de robots.txt no puede proteger un sitio de pruebas de todos modos, así que usa una contraseña en su lugar.

  2. La página que quieres indexar está bloqueada

    Busca la regla que coincide con su dirección (un patrón amplio como /*? o una regla de carpeta) y añade un Allow más específico o reduce el Disallow. Gana la regla que coincide con más caracteres, así que un Allow preciso anula un Disallow corto.

  3. Un rastreador con nombre propio perdió las reglas que fijaste para todos

    Un rastreador con su propio grupo solo lee ese grupo, no las reglas bajo User-agent: *. Cuando añades un grupo para un rastreador, repite en él cada Disallow que todavía necesite.

    # every crawler: keep admin and cart out
    User-agent: *
    Disallow: /admin/
    Disallow: /cart
    
    # a named crawler reads ONLY its own group, so repeat what it needs
    User-agent: GPTBot
    Disallow: /admin/
    Disallow: /cart
    Disallow: /members/
    
    Sitemap: https://example.com/sitemap-index.xml
  4. Sin línea Sitemap

    Añade una línea Sitemap con la dirección absoluta de tu sitemap o índice de sitemaps. Cualquier rastreador que lea robots.txt puede encontrarla ahí, no solo los motores de búsqueda donde lo enviaste.

    # robots.txt
    Sitemap: https://example.com/sitemap-index.xml
  5. robots.txt usado para ocultar una página de los resultados

    Bloquear el rastreo no mantiene una página fuera de la búsqueda: una dirección bloqueada puede seguir apareciendo si otras páginas enlazan con ella, y Google no puede ver una etiqueta noindex en una página que no puede rastrear. Permite el rastreo y añade noindex en su lugar.

    <meta name="robots" content="noindex">

Preguntas frecuentes

¿Qué es robots.txt?
Un archivo de texto plano en la raíz de tu dominio que indica a los rastreadores qué URL pueden o no solicitar. Está estandarizado en el RFC 9309 (2022).
¿Puedo bloquear rastreadores de IA por separado?
Sí — cada uno tiene su propio token de user-agent, como `GPTBot` o `ClaudeBot`. Varias empresas de IA usan rastreadores distintos para entrenamiento de modelos y para búsqueda, así que puedes bloquear el entrenamiento y seguir apareciendo en sus respuestas de búsqueda con IA.
¿Qué es Google-Extended?
Un token de control, no un rastreador aparte. Google rastrea igualmente con sus rastreadores habituales; bloquear `Google-Extended` le indica a Google que no use tu contenido para entrenar los modelos Gemini ni para fundamentar respuestas en las apps de Gemini. No afecta a Google Search ni al posicionamiento.
¿Todos los rastreadores de IA respetan robots.txt?
Las principales empresas de IA dicen que sus rastreadores lo hacen. Algunos captadores que actúan por petición de un usuario, como ChatGPT-User y Perplexity-User, pueden no aplicar las reglas de robots.txt, y el informe los señala.
¿Cuál es la diferencia entre robots.txt y noindex?
robots.txt impide el rastreo. `noindex` permite el rastreo pero impide la indexación. Si bloqueas una página en robots.txt, Google no puede ver su etiqueta noindex — un error habitual.
¿Debería incluir una directiva de sitemap?
Sí — `Sitemap: https://example.com/sitemap.xml` ayuda a todos los rastreadores a encontrar tu sitemap, incluidos Bing y otros buscadores.
¿Google siempre respeta robots.txt?
Para el rastreo, sí. Pero una URL bloqueada aún puede aparecer en los resultados de búsqueda si otras páginas la enlazan, sin fragmento. Usa noindex para mantener una página fuera.

Fuentes

La documentación en la que se basan esta herramienta y las explicaciones de esta página.