Generador de robots.txt
Respuesta breve
Crea un robots.txt con las rutas bloqueadas, líneas de sitemap y la opción de permitir o bloquear cada rastreador de IA, y ve qué puede obtener cada bot de IA.
Lo que no hace: Escribe el archivo pero no lo publica, y robots.txt solo es una petición a los rastreadores: no quita páginas de los resultados de búsqueda ni detiene a los rastreadores que lo ignoran.
Empieza cada ruta con /, por ejemplo /admin/ o /cart/. Usa * como comodín y $ para indicar el final de una URL.
Google ignora Crawl-delay; Bing lo tiene en cuenta.
Rastreadores de IA
Los rastreadores para búsquedas y respuestas de IA deciden si tus páginas se pueden mostrar o citar ahí. Los rastreadores de entrenamiento recopilan páginas para entrenar modelos; bloquearlos no elimina tu sitio de la búsqueda con IA.
Lista de rastreadores de IA comprobada por última vez el 17/09/2026.
Tu robots.txt
User-agent: * Allow: /
Lo que el archivo permite en la página de inicio
- GPTBotPermitido
- OAI-SearchBotPermitido
- ChatGPT-UserPermitido
- ClaudeBotPermitido
- Claude-SearchBotPermitido
- Claude-UserPermitido
- PerplexityBotPermitido
- Perplexity-UserPermitido
- Google-ExtendedPermitido
- Applebot-ExtendedPermitido
- meta-externalagentPermitido
- meta-webindexerPermitido
- meta-externalfetcherPermitido
- ExaSearchBotPermitido
- ExaUserPermitido
- KeenableBotPermitido
- Keenable-UserPermitido
- AmazonbotPermitido
- CCBotPermitido
Guarda el archivo como robots.txt en la raíz de tu dominio (por ejemplo https://example.com/robots.txt) y prueba después el archivo en producción. Abrir el comprobador de robots.txt
El archivo se crea en tu navegador.
Qué hace
Crea un archivo robots.txt con las rutas que hay que mantener fuera del alcance de los rastreadores, líneas de sitemap, un Crawl-delay opcional y una opción de permitir o bloquear para cada rastreador de IA conocido, agrupados en búsqueda con IA, entrenamiento de modelos y otros usos de IA. Después lee el archivo y muestra qué puede obtener cada rastreador de IA.
Por qué importa
robots.txt indica a los rastreadores qué URLs pueden obtener. Las empresas de IA usan rastreadores distintos para la búsqueda, para obtener una página sobre la que pregunta un usuario y para el entrenamiento de modelos, así que puedes seguir siendo visible en la búsqueda con IA y a la vez excluirte del entrenamiento. Bloquear un rastreador de entrenamiento como GPTBot no elimina un sitio de la búsqueda de ChatGPT. robots.txt es una petición, no un control de acceso, y algunos rastreadores que actúan en nombre de un usuario dicen que pueden no seguirlo.
Cómo funciona
-
Elige si quieres permitir el rastreo o bloquear todo el sitio
-
Indica las rutas que hay que mantener fuera del alcance de los rastreadores y las URLs de tu sitemap
-
Permite o bloquea cada rastreador de IA, o parte de un ajuste predefinido
-
Copia o descarga el archivo, guárdalo como /robots.txt y prueba el archivo en producción con el comprobador de robots.txt
Ejemplo de entrada y salida
rastreo: permitido · rutas bloqueadas: /admin/, /cart/ preajuste de IA: solo búsqueda con IA sitemap: https://example.com/sitemap.xml
User-agent: * Disallow: /admin/ Disallow: /cart/ User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: Amazonbot User-agent: CCBot Disallow: / Sitemap: https://example.com/sitemap.xml Lo que el archivo permite en la página de inicio: GPTBot Bloqueado · OAI-SearchBot Permitido · ChatGPT-User Permitido ClaudeBot Bloqueado · Claude-SearchBot Permitido · PerplexityBot Permitido Google-Extended Bloqueado · CCBot Bloqueado
Cómo leer el resultado
- El grupo User-agent: *
- Reglas para todos los rastreadores: aquí Disallow: /admin/ y Disallow: /cart/, las dos rutas del ejemplo. Todo lo que no se bloquea puede rastrearse. El robots.txt es una petición que siguen los rastreadores respetuosos, no un candado.
- El grupo de rastreadores de IA
- Cada rastreador de IA marcado como Bloquear aparece en un grupo que termina en Disallow: /. El ejemplo usa el preajuste que permite solo la búsqueda con IA: los rastreadores de entrenamiento quedan bloqueados (GPTBot, ClaudeBot, CCBot y otros), mientras que los agentes de búsqueda y de usuario que obtienen páginas para citarlas siguen permitidos.
- La línea Sitemap
- Una línea por sitemap, siempre con la dirección completa https://. Vale para todos los rastreadores, esté donde esté en el archivo.
- Lo que el archivo permite en la página de inicio
- El archivo generado se vuelve a leer con las mismas reglas RFC 9309 que usan los rastreadores y se prueba en la página de inicio para cada rastreador de IA. En el ejemplo GPTBot está bloqueado y OAI-SearchBot permitido: la misma empresa usa rastreadores distintos para entrenamiento y para búsqueda.
- Google-Extended y Applebot-Extended
- No son rastreadores sino tokens que indican si el contenido que Google y Apple ya rastrean puede usarse para sus modelos de IA. Bloquearlos no impide que Googlebot o Applebot rastreen el sitio para la búsqueda.
Quién lo usa
-
Dueño de un sitio
Mantenerse en los resultados de búsqueda con IA a la vez que se excluye del entrenamiento de modelos.
-
Especialista en SEO
Mantener a los rastreadores fuera del carrito, la búsqueda interna y las páginas de administración sin bloquear el resto del sitio.
-
Desarrollador web
Crear un archivo que bloquee todo para un sitio de pruebas.
Problemas frecuentes y cómo solucionarlos
-
Quieres sacar una página de los resultados
El robots.txt no elimina páginas: una URL bloqueada puede seguir apareciendo si otros sitios la enlazan. Deja que se rastree y añade una etiqueta meta robots noindex.
<meta name="robots" content="noindex"> -
CSS o JavaScript bloqueados
No bloquees carpetas con las hojas de estilo y los scripts que necesitan tus páginas; los buscadores renderizan las páginas y las juzgan por lo que ven. Bloquea en su lugar zonas privadas como administración, carrito y cuenta.
-
Confiar en Crawl-delay
Google ignora Crawl-delay; Bing y algunos otros rastreadores lo respetan. Si Googlebot rastrea demasiado rápido, mejora la velocidad del servidor o deja que responda 503 o 429 durante un rato.
-
El archivo está en el sitio equivocado
Los rastreadores solo leen el robots.txt en la raíz de cada host: https://example.com/robots.txt cubre example.com, no www.example.com ni shop.example.com, que necesitan su propio archivo.
-
Bloquear todos los rastreadores de IA
Si bloqueas también los agentes de búsqueda y de usuario de IA, tus páginas quedan fuera de las respuestas que enlazan fuentes. Si solo quieres quedar fuera del entrenamiento de modelos, bloquea los rastreadores de entrenamiento y deja permitidos los de búsqueda.
Preguntas frecuentes
- ¿Dónde pongo robots.txt?
- En la raíz de tu dominio, por ejemplo https://example.com/robots.txt. Cada subdominio necesita su propio archivo.
- ¿Bloquear una página en robots.txt la elimina de Google?
- No. robots.txt controla el rastreo, no la indexación. Una URL bloqueada puede seguir apareciendo en los resultados si otras páginas enlazan a ella; usa noindex o protección con contraseña para mantener una página fuera.
- ¿Qué rastreadores de IA puedo controlar?
- Los tokens de rastreador que documentan OpenAI, Anthropic, Perplexity, Google, Apple, Meta y Amazon, además de CCBot, el rastreador de un archivo web abierto. Los operadores añaden y retiran tokens, así que la lista se revisa con regularidad; la fecha se muestra debajo.
- ¿Por qué los rastreadores de IA permitidos no tienen su propio grupo?
- Un rastreador con su propio grupo ignora las reglas para todos los rastreadores (User-agent: *). Dejar fuera a los rastreadores permitidos mantiene también en vigor tus rutas bloqueadas para ellos.
- ¿Google tiene en cuenta Crawl-delay?
- No, Google lo ignora. Bing sí lo tiene en cuenta.
Fuentes
La documentación en la que se basan esta herramienta y las explicaciones de esta página.
- RFC 9309: Robots Exclusion Protocol — RFC Editor
- Create and Submit a robots.txt File — Google Search Central
- Google's common crawlers — Google Search Central
- Robots Meta Tags Specifications — Google Search Central