# Generador de robots.txt

https://rankproof.eu/es/tools/seo-robots-txt-generator

## Respuesta breve

Crea un archivo robots.txt con rutas bloqueadas, sitemaps y una opción para cada rastreador de IA.

## Qué hace

Crea un archivo robots.txt con las rutas que hay que mantener fuera del alcance de los rastreadores, líneas de sitemap, un Crawl-delay opcional y una opción de permitir o bloquear para cada rastreador de IA conocido, agrupados en búsqueda con IA, entrenamiento de modelos y otros usos de IA. Después lee el archivo y muestra qué puede obtener cada rastreador de IA.

## Cómo funciona

1. Elige si quieres permitir el rastreo o bloquear todo el sitio
2. Indica las rutas que hay que mantener fuera del alcance de los rastreadores y las URLs de tu sitemap
3. Permite o bloquea cada rastreador de IA, o parte de un ajuste predefinido
4. Copia o descarga el archivo, guárdalo como /robots.txt y prueba el archivo en producción con el comprobador de robots.txt

## Ejemplo de entrada y salida

ENTRADA

```text
rastreo: permitido · rutas bloqueadas: /admin/, /cart/
ajuste de IA: permitir búsqueda con IA, bloquear el resto
sitemap: https://example.com/sitemap.xml
```

SALIDA

```text
User-agent: *
Disallow: /admin/
Disallow: /cart/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: Amazonbot
User-agent: CCBot
Disallow: /

Sitemap: https://example.com/sitemap.xml
```

## Por qué importa

robots.txt indica a los rastreadores qué URLs pueden obtener. Las empresas de IA usan rastreadores distintos para la búsqueda, para obtener una página sobre la que pregunta un usuario y para el entrenamiento de modelos, así que puedes seguir siendo visible en la búsqueda con IA y a la vez excluirte del entrenamiento. Bloquear un rastreador de entrenamiento como GPTBot no elimina un sitio de la búsqueda de ChatGPT. robots.txt es una petición, no un control de acceso, y algunos rastreadores que actúan en nombre de un usuario dicen que pueden no seguirlo.

## Quién lo usa

- **Dueño de un sitio**: Mantenerse en los resultados de búsqueda con IA a la vez que se excluye del entrenamiento de modelos.
- **Especialista en SEO**: Mantener a los rastreadores fuera del carrito, la búsqueda interna y las páginas de administración sin bloquear el resto del sitio.
- **Desarrollador web**: Crear un archivo que bloquee todo para un sitio de pruebas.

## Preguntas frecuentes

### ¿Dónde pongo robots.txt?

En la raíz de tu dominio, por ejemplo https://example.com/robots.txt. Cada subdominio necesita su propio archivo.

### ¿Bloquear una página en robots.txt la elimina de Google?

No. robots.txt controla el rastreo, no la indexación. Una URL bloqueada puede seguir apareciendo en los resultados si otras páginas enlazan a ella; usa noindex o protección con contraseña para mantener una página fuera.

### ¿Qué rastreadores de IA puedo controlar?

Los tokens de rastreador que documentan OpenAI, Anthropic, Perplexity, Google, Apple, Meta y Amazon, además de CCBot, el rastreador de un archivo web abierto. Los operadores añaden y retiran tokens, así que la lista se revisa con regularidad; la fecha se muestra debajo.

### ¿Por qué los rastreadores de IA permitidos no tienen su propio grupo?

Un rastreador con su propio grupo ignora las reglas para todos los rastreadores (User-agent: *). Dejar fuera a los rastreadores permitidos mantiene también en vigor tus rutas bloqueadas para ellos.

### ¿Google tiene en cuenta Crawl-delay?

No, Google lo ignora. Bing sí lo tiene en cuenta.

## Herramientas relacionadas en Análisis SEO

- [Comprobador de título y meta descripción](https://rankproof.eu/es/tools/seo-meta-title)
- [Comprobador de encabezados](https://rankproof.eu/es/tools/seo-heading-tags)
- [Comprobador de texto alt de imágenes](https://rankproof.eu/es/tools/seo-image-alt)
- [Comprobador de URL canónica](https://rankproof.eu/es/tools/seo-canonical-url)
- [Analizador de Robots.txt](https://rankproof.eu/es/tools/seo-robots-txt)
- [Comprobador de sitemap](https://rankproof.eu/es/tools/seo-sitemap)