Skip to content
FixAEO
Herramienta gratis · Sin registro

Generador Robots.txt gratis

Controla quién puede rastrear tu sitio — incluyendo GPTBot, ClaudeBot, PerplexityBot, Google-Extended y más de 20 otros crawlers IA y de búsqueda. Construido para AEO, no solo SEO clásico.

Start with a preset

Optional — points crawlers at your full URL list. Add even when you also publish llms.txt.

Default for unlisted bots

Paths under User-agent: *. Common: /admin/, /api/, /wp-admin/, /cart/.

AI search bots

These crawlers power AI answers and citations at query time. Letting them in is how you get cited.

AI training bots

Crawl your content to train the next foundation model. Blocking them doesn't usually hurt citations — most AI assistants use a separate index-time bot.

Search engines

Classic crawlers behind Google, Bing, etc. Block these only if you really mean it.

robots.txt84 chars · 5 lines
# robots.txt — generated by fixaeo.com/robots-txt-generator

User-agent: *
Allow: /
Where to upload

Save as robots.txt and host it at the root of your site (e.g. https://yoursite.com/robots.txt). Most static hosts and CMSes accept a plain text file in the public/static folder.

Why this one's different

Most robots.txt generators stop at Googlebot. AI crawlers multiplied 5× since 2023 — your file needs to keep up.

24 AI + search crawlers covered

GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider, CCBot, Applebot-Extended, Meta-ExternalAgent, MistralAI-User, and all the major search engines. Each tagged by maker and purpose so you know what you're blocking.

Smart presets for AEO

One click for 'AEO-friendly' (allow AI search, block AI training), 'Block all AI', or 'Allow everything'. Tweak from there instead of starting from scratch.

Minimal, correct output

Only emits overrides that differ from your default. The result is a short, readable file you can paste straight to /robots.txt — no boilerplate noise.

The two kinds of AI crawler

Knowing the difference is the difference between vanishing from AI answers and just opting out of model training.

Index-time

AI search bots

Fetch your page when an AI assistant needs to answer a user's question. Blocking these removes you from citations entirely. Examples: OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, DuckAssistBot.

Recommendation: allow unless you really don't want to show up in AI answers.

Training-time

AI training bots

Crawl your content to feed the next foundation model. Blocking these opts you out of training datasets but doesn't affect today's citations. Examples: GPTBot, Google-Extended, Bytespider, CCBot, anthropic-ai, Applebot-Extended.

Recommendation: your call — common AEO stance is block these and keep index-time bots allowed.

Preguntas frecuentes

Bots IA, entrenamiento vs indexación, y cómo encaja robots.txt en una estrategia AEO.

¿Qué es un archivo robots.txt?
robots.txt es un archivo de texto plano en la raíz de tu sitio (tusitio.com/robots.txt) que indica a los crawlers qué URLs pueden o no recuperar. Los crawlers lo consultan antes de cualquier otra petición. Es un protocolo de honor — los bots bien educados lo respetan, los scrapers maliciosos lo ignoran.
¿Por qué importa robots.txt para el AEO?
Los asistentes IA como ChatGPT, Claude y Perplexity envían sus propios crawlers (GPTBot, ClaudeBot, PerplexityBot, etc.) para recuperar e indexar páginas. Si los bloqueas en robots.txt, tu contenido no aparecerá en sus respuestas. Si los permites, tu sitio se vuelve elegible para ser citado. La mayoría de los sitios deberían permitir explícitamente los bots de búsqueda IA y considerar por separado su postura sobre los crawlers de solo entrenamiento.
¿Cuál es la diferencia entre bots de búsqueda IA y bots de entrenamiento IA?
Los bots de búsqueda IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User) recuperan páginas en el momento de la consulta para alimentar citas y respuestas — bloquearlos te quita por completo de esos asistentes IA. Los bots de entrenamiento IA (GPTBot, Google-Extended, Bytespider, CCBot, anthropic-ai) rastrean para construir el siguiente modelo fundacional — bloquearlos te excluye del entrenamiento sin afectar las citas actuales. Muchos SEOs permiten los indexadores y bloquean los entrenadores.
¿Bloquear GPTBot impedirá que ChatGPT mencione mi sitio?
En gran medida. GPTBot es el crawler de entrenamiento de OpenAI — bloquearlo detiene la ingestión de nuevos datos de entrenamiento. Pero ChatGPT también usa OAI-SearchBot y ChatGPT-User para respuestas en vivo; si solo bloqueas GPTBot, tu sitio aún puede citarse en navegación en tiempo real. Para retirarte por completo, bloquea los tres.
¿Y Google-Extended?
Google-Extended es un user-agent separado que controla si Google puede usar tu contenido para entrenar Gemini / Bard / Vertex AI. NO afecta a Googlebot ni a tus rankings clásicos de Google Search. Puedes bloquear Google-Extended sin perder tráfico orgánico — una configuración AEO-friendly habitual.
¿Debería bloquear Common Crawl (CCBot)?
Common Crawl es una organización sin ánimo de lucro que publica un archivo web abierto usado por muchos LLMs (incluyendo la mayoría de los primeros modelos GPT). Bloquear CCBot te excluye de ese conjunto de datos — pero no te protege necesariamente de laboratorios individuales que rastrean directamente. Útil como señal de intención más que como garantía firme.
¿Dónde pongo el archivo robots.txt?
En la raíz de tu dominio, servido como text/plain. Para sitios estáticos (Next.js, Astro, Hugo), colócalo en la carpeta public/ o static/. Para WordPress, súbelo por SFTP a la raíz web. Tras desplegar, verifica con `curl -I https://tusitio.com/robots.txt` — deberías ver HTTP 200.
¿Protege robots.txt el contenido privado?
No. robots.txt es consultivo — indica a los crawlers bien educados qué saltarse, pero cualquiera (y cualquier bot que ignore robots.txt) puede aún recuperar la URL directamente. Para privacidad real, usa autenticación, listas blancas de IP o cabeceras noindex. robots.txt sirve para decir a Google y a los bots IA qué páginas públicas ignorar, no para esconder secretos.

¿Quieres ver cómo te encuentran hoy los motores IA?

Ejecuta una auditoría AEO gratis. Comprobamos tu robots.txt, llms.txt, schema, la fuerza de las citas y cómo aparece tu marca actualmente en ChatGPT, Claude, Gemini, Perplexity y Grok.

Ejecutar auditoría AEO gratis