Wenn ChatGPT, Perplexity, Claude oder Googles KI Ihre Website nicht crawlen können, können sie Sie weder zitieren noch empfehlen. Der häufigste Grund ist eine robots.txt, die ihre Crawler blockiert — oft versehentlich. Hier finden Sie die exakte robots.txt, um jeden großen KI-Crawler zuzulassen, was jeder User-Agent tut und wie Sie prüfen, ob es funktioniert.
Fügen Sie diese Blöcke in die robots.txt im Stammverzeichnis Ihrer Domain ein (z. B. https://ihredomain.com/robots.txt). Jeder Block erlaubt ausdrücklich einen KI-Crawler; der letzte Block hält die Website für alle anderen offen. Ersetzen Sie die Sitemap-URL durch Ihre eigene.
# Allow the major AI crawlers to read your site
# ChatGPT (OpenAI)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
# Perplexity
User-agent: PerplexityBot
Allow: /
# Claude (Anthropic)
User-agent: ClaudeBot
Allow: /
# Google AI (Gemini & AI Overviews)
User-agent: Google-Extended
Allow: /
# Everyone else
User-agent: *
Allow: /
Sitemap: https://yourdomain.com/sitemap.xmlDas sind die Crawler, die man 2026 zulassen sollte, und warum:
robots.txt ist standardmäßig erlaubend: Ein Crawler darf jede URL abrufen, die für seinen User-Agent nicht ausdrücklich verboten ist. Die eigentliche Frage lautet also meist, ob Sie KI-Bots versehentlich blockieren. Zwei Dinge sind zu prüfen: ein „Disallow: /“ unter „User-agent: *“ (das alle blockiert, einschließlich KI) und alle bot-spezifischen „Disallow“-Blöcke, die GPTBot, PerplexityBot und die übrigen nennen. Die obige Vorlage macht die Absicht ausdrücklich und sicher.
Nachdem Sie die robots.txt veröffentlicht haben, bestätigen Sie es: Öffnen Sie https://ihredomain.com/robots.txt im Browser, um die Live-Datei zu sehen, und führen Sie einen kostenlosen KI-Crawler-Check aus, der sie liest und meldet, welche KI-Bots erlaubt oder blockiert sind. Denken Sie daran, dass robots.txt nur den Crawl-Zugriff steuert — Ihr Inhalt muss weiterhin im statischen HTML vorhanden sein (nicht erst nach JavaScript), damit KI-Crawler ihn tatsächlich lesen.
Für die meisten Websites, die KI-Sichtbarkeit wollen: ja. Lesbar zu sein ist der Preis dafür, empfohlen zu werden. Die Ausnahmen sind Inhalte, die Sie nicht fürs Training verwenden lassen möchten (manche Publisher blockieren GPTBot, erlauben aber weiterhin OAI-SearchBot, damit sie in Antworten erscheinen, ohne das Training zu speisen), sowie Bereiche hinter einer Bezahlschranke oder private Bereiche, die Sie für alle Bots verbieten sollten. Entscheiden Sie pro Bot — GPTBot (Training) und OAI-SearchBot (Live-Antworten) können unterschiedlich behandelt werden.
Fügen Sie für jeden KI-User-Agent (GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Google-Extended) einen „Allow: /“-Block in die robots.txt im Stammverzeichnis Ihrer Domain ein und stellen Sie sicher, dass keine „Disallow: /“-Regel sie blockiert. Kopieren Sie die obige Vorlage und ersetzen Sie die Sitemap-URL.
Die wichtigsten 2026 sind GPTBot und OAI-SearchBot (ChatGPT), PerplexityBot (Perplexity), ClaudeBot (Claude) und Google-Extended (Gemini & AI Overviews). Lassen Sie sie alle zu, um für Empfehlungen über die großen KI-Engines hinweg infrage zu kommen.
GPTBot ist der Trainings-Crawler; OAI-SearchBot ist der Live-Antwort-Crawler. Wenn Sie in ChatGPTs Antworten erscheinen, aber das Training nicht speisen möchten, können Sie OAI-SearchBot zulassen und GPTBot gezielt verbieten.
Ein separates Steuer-Token: Es zuzulassen ermöglicht Google, Ihre Inhalte für Gemini und AI Overviews zu nutzen, während das Blockieren Ihr normales Google-Such-Ranking nicht beeinflusst. Beide sind unabhängig voneinander.
Öffnen Sie Ihre Live-robots.txt und suchen Sie nach „Disallow“-Regeln unter „User-agent: *“ oder unter bestimmten KI-Bot-Namen — oder führen Sie einen kostenlosen KI-Crawler-Check aus, der Ihre robots.txt liest und genau auflistet, welche KI-Bots erlaubt oder blockiert sind.
Kostenloser Sofort-Check der robots.txt für GPTBot, PerplexityBot, ClaudeBot & mehr — ohne Anmeldung.