BEACON Kostenloses Tool

Blockiert Ihre Seite KI-Crawler?

Wenn Ihre robots.txt GPTBot, PerplexityBot, ClaudeBot oder Google-Extended verbietet, können diese Engines Ihre Seite nicht lesen — und werden sie nicht empfehlen. Fügen Sie Ihre URL ein und erhalten Sie einen echten Abruf Ihrer Live-robots.txt, der genau zeigt, welche KI-Crawler erlaubt oder blockiert sind. Ohne Anmeldung.

https://
GPTBot (ChatGPT)Prüft, ob der Crawler von OpenAI Ihre Seiten lesen und daraus lernen darf.
PerplexityBotBestätigt, ob Perplexity auf Ihre Inhalte zugreifen kann, um Sie in Antworten zu zitieren.
ClaudeBotPrüft den Crawler-Zugriff von Anthropic für Claude.
Google-ExtendedDer Schalter, der steuert, ob Ihre Inhalte in Googles Gemini und KI-Funktionen einfließen.
Liest Ihre Live-robots.txtEin echter Abruf Ihrer tatsächlichen /robots.txt — keine zwischengespeicherte Vermutung oder erfundenes Ergebnis.
Auch llms.txtMeldet zudem, ob Sie eine /llms.txt veröffentlichen, um KI-Engines zu Ihren besten Inhalten zu führen.

Warum der KI-Crawler-Zugriff zählt

KI-Engines können nur empfehlen, was sie lesen können. Eine einzige zu weit gefasste Disallow-Zeile in der robots.txt kann Sie still und leise aus ChatGPT, Perplexity, Claude und Gemini entfernen — einer der häufigsten und unsichtbarsten Sichtbarkeitsfehler.

  • GPTBot — OpenAI / ChatGPT
  • OAI-SearchBot — ChatGPT-Suche
  • PerplexityBot — Perplexity
  • ClaudeBot — Anthropic / Claude
  • Google-Extended — Google Gemini & KI-Funktionen

Erlauben oder blockieren — Ihre Entscheidung

Manche Websites blockieren KI-Crawler bewusst, um Inhalte zu schützen; die meisten wollen die Sichtbarkeit. So oder so sollten Sie Ihren aktuellen Stand kennen. Dieses Tool meldet einfach, was Ihre robots.txt heute aussagt, damit die Entscheidung bewusst und nicht zufällig getroffen wird.

So entsperren Sie KI-Crawler

Ist ein Crawler blockiert, entfernen oder begrenzen Sie die betreffende Disallow-Regel für diesen User-Agent in der robots.txt und prüfen Sie erneut. Sobald der Zugriff behoben ist, stellen Sie sicher, dass Ihr Inhalt im statischen HTML steht (nicht nur per JavaScript), damit Crawler ihn tatsächlich sehen — ein kostenloses Beacon-Konto misst diese Render Gap über Ihre gesamte Website.

FAQ

Woher weiß ich, ob GPTBot blockiert ist?

Fügen Sie oben Ihre URL ein. Beacon liest Ihre Live-robots.txt und meldet, ob GPTBot, PerplexityBot, ClaudeBot und Google-Extended erlaubt oder verboten sind.

Sollte ich KI-Crawler blockieren?

Das hängt von Ihren Zielen ab. Blockieren schützt Inhalte davor, für Training und Antworten genutzt zu werden, entfernt Sie aber auch aus KI-Empfehlungen. Die meisten Marken, die Sichtbarkeit anstreben, sollten sie zulassen.

Ist dieses Ergebnis korrekt?

Ja — es ist ein echter Abruf Ihrer /robots.txt zum Prüfzeitpunkt, geparst für jeden KI-User-Agent. Nichts wird erfunden.

Was ist mit per JavaScript gerendertem Inhalt?

Crawler zuzulassen ist Schritt eins; sie brauchen außerdem lesbares HTML. Erscheint Ihr Inhalt erst nach Ausführung von JavaScript, sehen Crawler eine leere Hülle. Ein kostenloses Beacon-Konto misst diese Render Gap.

Prüfen Sie jetzt Ihren KI-Crawler-Zugriff

Kostenlos, echt, ohne Anmeldung — sehen Sie, wer Ihre Seite lesen kann.

Kostenlos starten Kostenlosen Check starten