Skip to content
FixAEO
Kostenloses Tool · Keine Anmeldung

Kostenloser Robots.txt Generator

Steuern Sie, wer Ihre Site crawlen darf — einschließlich GPTBot, ClaudeBot, PerplexityBot, Google-Extended und 20+ anderer KI- und Such-Crawler. Gebaut für AEO, nicht nur klassisches SEO.

Start with a preset

Optional — points crawlers at your full URL list. Add even when you also publish llms.txt.

Default for unlisted bots

Paths under User-agent: *. Common: /admin/, /api/, /wp-admin/, /cart/.

AI search bots

These crawlers power AI answers and citations at query time. Letting them in is how you get cited.

AI training bots

Crawl your content to train the next foundation model. Blocking them doesn't usually hurt citations — most AI assistants use a separate index-time bot.

Search engines

Classic crawlers behind Google, Bing, etc. Block these only if you really mean it.

robots.txt84 chars · 5 lines
# robots.txt — generated by fixaeo.com/robots-txt-generator

User-agent: *
Allow: /
Where to upload

Save as robots.txt and host it at the root of your site (e.g. https://yoursite.com/robots.txt). Most static hosts and CMSes accept a plain text file in the public/static folder.

Why this one's different

Most robots.txt generators stop at Googlebot. AI crawlers multiplied 5× since 2023 — your file needs to keep up.

24 AI + search crawlers covered

GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Bytespider, CCBot, Applebot-Extended, Meta-ExternalAgent, MistralAI-User, and all the major search engines. Each tagged by maker and purpose so you know what you're blocking.

Smart presets for AEO

One click for 'AEO-friendly' (allow AI search, block AI training), 'Block all AI', or 'Allow everything'. Tweak from there instead of starting from scratch.

Minimal, correct output

Only emits overrides that differ from your default. The result is a short, readable file you can paste straight to /robots.txt — no boilerplate noise.

The two kinds of AI crawler

Knowing the difference is the difference between vanishing from AI answers and just opting out of model training.

Index-time

AI search bots

Fetch your page when an AI assistant needs to answer a user's question. Blocking these removes you from citations entirely. Examples: OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User, DuckAssistBot.

Recommendation: allow unless you really don't want to show up in AI answers.

Training-time

AI training bots

Crawl your content to feed the next foundation model. Blocking these opts you out of training datasets but doesn't affect today's citations. Examples: GPTBot, Google-Extended, Bytespider, CCBot, anthropic-ai, Applebot-Extended.

Recommendation: your call — common AEO stance is block these and keep index-time bots allowed.

Häufig gestellte Fragen

KI-Bots, Training vs. Indexierung und wie robots.txt in die AEO-Strategie passt.

Was ist eine robots.txt-Datei?
robots.txt ist eine reine Textdatei im Root Ihrer Website (ihresite.com/robots.txt), die Web-Crawlern sagt, welche URLs sie abrufen dürfen. Crawler prüfen sie vor jeder anderen Anfrage. Es ist ein Ehren-Protokoll — gut erzogene Bots respektieren es; bösartige Scraper ignorieren es.
Warum ist robots.txt für AEO wichtig?
KI-Assistenten wie ChatGPT, Claude und Perplexity senden eigene Crawler (GPTBot, ClaudeBot, PerplexityBot etc.) zum Abrufen und Indexieren von Seiten. Wenn Sie sie in robots.txt blockieren, erscheint Ihr Inhalt nicht in deren Antworten. Wenn Sie sie zulassen, wird Ihre Site zitationsfähig. Die meisten Sites sollten KI-Such-Bots explizit zulassen und ihre Haltung zu reinen Training-Crawlern separat überlegen.
Was ist der Unterschied zwischen KI-Such-Bots und KI-Training-Bots?
KI-Such-Bots (OAI-SearchBot, Claude-SearchBot, PerplexityBot, ChatGPT-User) holen Seiten zur Anfragezeit, um Citations und Antworten zu speisen — sie zu blockieren entfernt Sie vollständig aus diesen KI-Assistenten. KI-Training-Bots (GPTBot, Google-Extended, Bytespider, CCBot, anthropic-ai) crawlen, um das nächste Foundation-Modell zu bauen — sie zu blockieren schließt Sie aus dem Training aus, ohne die heutigen Citations zu beeinträchtigen. Viele SEOs lassen Indexer zu und blockieren Trainer.
Wird das Blockieren von GPTBot ChatGPT davon abhalten, meine Site zu erwähnen?
Größtenteils. GPTBot ist OpenAIs Training-Crawler — ihn zu blockieren stoppt die Aufnahme neuer Trainingsdaten. Aber ChatGPT verwendet auch OAI-SearchBot und ChatGPT-User für Live-Antworten; wenn Sie nur GPTBot blockieren, kann Ihre Site noch in Echtzeit-Browsing zitiert werden. Um sich vollständig zu entfernen, blockieren Sie alle drei.
Was ist mit Google-Extended?
Google-Extended ist ein separater User-Agent, der steuert, ob Google Ihre Inhalte zum Trainieren von Gemini / Bard / Vertex AI verwenden darf. Er beeinflusst NICHT Googlebot oder Ihre klassischen Google-Search-Rankings. Sie können Google-Extended blockieren, ohne organischen Traffic zu verlieren — ein gängiges AEO-freundliches Setup.
Sollte ich Common Crawl (CCBot) blockieren?
Common Crawl ist eine Non-Profit-Organisation, die ein offenes Web-Archiv veröffentlicht, das von vielen LLMs (einschließlich der meisten frühen GPT-Modelle) verwendet wird. CCBot zu blockieren schließt Sie aus diesem Datensatz aus — schützt Sie aber nicht zwingend vor einzelnen Laboren, die direkt crawlen. Eher ein Absichtssignal als eine harte Garantie.
Wo lege ich die robots.txt-Datei ab?
Im Root Ihrer Domain, ausgeliefert als text/plain. Für statische Sites (Next.js, Astro, Hugo) legen Sie sie in den Ordner public/ oder static/. Für WordPress laden Sie sie per SFTP ins Webroot. Nach dem Deploy prüfen Sie mit `curl -I https://ihresite.com/robots.txt` — Sie sollten HTTP 200 sehen.
Schützt robots.txt private Inhalte?
Nein. robots.txt ist nur eine Empfehlung — sie sagt gut erzogenen Crawlern, was zu überspringen ist, aber jeder (und jeder Bot, der robots.txt ignoriert) kann die URL trotzdem direkt abrufen. Für echte Privatsphäre nutzen Sie Authentifizierung, IP-Allowlists oder noindex-Header. robots.txt dient dazu, Google und KI-Bots zu sagen, welche öffentlichen Seiten ignoriert werden sollen, nicht zum Verstecken von Geheimnissen.

Möchten Sie sehen, wie KI-Engines Sie heute finden?

Führen Sie ein kostenloses AEO-Audit durch. Wir prüfen Ihre robots.txt, llms.txt, Schema, Citation-Stärke und wie Ihre Marke aktuell in ChatGPT, Claude, Gemini, Perplexity und Grok erscheint.

Kostenloses AEO-Audit starten