Skip to content
FixAEO
Outil gratuit · Sans inscription

Générateur Robots.txt gratuit

Contrôlez qui peut parcourir votre site — y compris GPTBot, ClaudeBot, PerplexityBot, Google-Extended et plus de 20 autres robots IA et de recherche. Conçu pour l'AEO, pas seulement le SEO classique.

Start with a preset

Optional — points crawlers at your full URL list. Add even when you also publish llms.txt.

Default for unlisted bots

Paths under User-agent: *. Common: /admin/, /api/, /wp-admin/, /cart/.

AI search bots

These crawlers power AI answers and citations at query time. Letting them in is how you get cited.

AI training bots

Crawl your content to train the next foundation model. Blocking them doesn't usually hurt citations — most AI assistants use a separate index-time bot.

Search engines

Classic crawlers behind Google, Bing, etc. Block these only if you really mean it.

robots.txt84 chars · 5 lines
# robots.txt — generated by fixaeo.com/robots-txt-generator

User-agent: *
Allow: /
Where to upload

Save as robots.txt and host it at the root of your site (e.g. https://yoursite.com/robots.txt). Most static hosts and CMSes accept a plain text file in the public/static folder.

Why this one's different

Most robots.txt generators stop at Googlebot. AI crawlers multiplied 5× since 2023 — your file needs to keep up.

24 AI + search crawlers covered

GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider, CCBot, Applebot-Extended, Meta-ExternalAgent, MistralAI-User, and all the major search engines. Each tagged by maker and purpose so you know what you're blocking.

Smart presets for AEO

One click for 'AEO-friendly' (allow AI search, block AI training), 'Block all AI', or 'Allow everything'. Tweak from there instead of starting from scratch.

Minimal, correct output

Only emits overrides that differ from your default. The result is a short, readable file you can paste straight to /robots.txt — no boilerplate noise.

The two kinds of AI crawler

Knowing the difference is the difference between vanishing from AI answers and just opting out of model training.

Index-time

AI search bots

Fetch your page when an AI assistant needs to answer a user's question. Blocking these removes you from citations entirely. Examples: OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, DuckAssistBot.

Recommendation: allow unless you really don't want to show up in AI answers.

Training-time

AI training bots

Crawl your content to feed the next foundation model. Blocking these opts you out of training datasets but doesn't affect today's citations. Examples: GPTBot, Google-Extended, Bytespider, CCBot, anthropic-ai, Applebot-Extended.

Recommendation: your call — common AEO stance is block these and keep index-time bots allowed.

Questions fréquentes

Robots IA, entraînement vs indexation, et la place de robots.txt dans une stratégie AEO.

Qu'est-ce qu'un fichier robots.txt ?
robots.txt est un fichier texte brut à la racine de votre site (votresite.com/robots.txt) qui dit aux robots d'exploration quelles URLs ils peuvent ou non récupérer. Les robots le consultent avant toute autre requête. C'est un protocole de bonne foi — les robots respectueux le suivent, les scrapers malveillants l'ignorent.
Pourquoi robots.txt compte-t-il pour l'AEO ?
Les assistants IA comme ChatGPT, Claude et Perplexity envoient leurs propres robots (GPTBot, ClaudeBot, PerplexityBot, etc.) pour récupérer et indexer les pages. Si vous les bloquez dans robots.txt, votre contenu n'apparaîtra pas dans leurs réponses. Si vous les autorisez, votre site devient éligible aux citations. La plupart des sites devraient autoriser explicitement les robots de recherche IA et considérer séparément leur position sur les robots d'entraînement seul.
Quelle est la différence entre robots de recherche IA et robots d'entraînement IA ?
Les robots de recherche IA (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User) récupèrent les pages au moment de la requête pour alimenter les citations et les réponses — les bloquer vous retire entièrement de ces assistants IA. Les robots d'entraînement IA (GPTBot, Google-Extended, Bytespider, CCBot, anthropic-ai) parcourent pour construire le prochain modèle fondamental — les bloquer vous désinscrit de l'entraînement sans affecter les citations actuelles. Beaucoup de SEOs autorisent les indexeurs et bloquent les entraîneurs.
Bloquer GPTBot empêchera-t-il ChatGPT de mentionner mon site ?
En grande partie. GPTBot est le robot d'entraînement d'OpenAI — le bloquer arrête l'ingestion de nouvelles données d'entraînement. Mais ChatGPT utilise aussi OAI-SearchBot et ChatGPT-User pour les réponses en direct ; si vous ne bloquez que GPTBot, votre site peut toujours être cité en navigation en temps réel. Pour vous retirer entièrement, bloquez les trois.
Et Google-Extended ?
Google-Extended est un user-agent séparé qui contrôle si Google peut utiliser votre contenu pour entraîner Gemini / Bard / Vertex AI. Il n'affecte PAS Googlebot ni vos classements Google Search classiques. Vous pouvez bloquer Google-Extended sans perdre de trafic organique — une configuration AEO-friendly courante.
Faut-il bloquer Common Crawl (CCBot) ?
Common Crawl est une organisation à but non lucratif qui publie une archive ouverte du web utilisée par de nombreux LLMs (y compris la plupart des premiers modèles GPT). Bloquer CCBot vous désinscrit de ce jeu de données — mais ne vous protège pas nécessairement des labos individuels qui parcourent directement. Utile comme signal d'intention plus que comme garantie ferme.
Où mettre le fichier robots.txt ?
À la racine de votre domaine, servi en text/plain. Pour les sites statiques (Next.js, Astro, Hugo), déposez-le dans le dossier public/ ou static/. Pour WordPress, transférez par SFTP à la racine web. Après déploiement, vérifiez avec `curl -I https://votresite.com/robots.txt` — vous devriez voir HTTP 200.
robots.txt protège-t-il le contenu privé ?
Non. robots.txt est consultatif — il dit aux robots respectueux quoi sauter, mais n'importe qui (et tout bot qui ignore robots.txt) peut toujours récupérer l'URL directement. Pour une vraie confidentialité, utilisez l'authentification, des listes d'IP autorisées ou des en-têtes noindex. robots.txt sert à dire à Google et aux robots IA quelles pages publiques ignorer, pas à cacher des secrets.

Vous voulez voir comment les moteurs IA vous trouvent aujourd'hui ?

Lancez un audit AEO gratuit. Nous vérifions votre robots.txt, llms.txt, schema, la force des citations, et comment votre marque apparaît actuellement dans ChatGPT, Claude, Gemini, Perplexity et Grok.

Lancer un audit AEO gratuit