Naar de inhoud
BEACON Gratis tool

Gratis AI-crawler- & robots.txt-checker

Als uw robots.txt GPTBot, PerplexityBot, ClaudeBot of Google-Extended weigert, kunnen die engines uw site niet lezen — en zullen ze hem niet aanbevelen. Plak uw URL voor een echte uitlezing van uw live robots.txt en zie precies welke AI-crawlers worden toegestaan of geblokkeerd. Geen aanmelding.

https://
GPTBot (ChatGPT)Controleert of de crawler van OpenAI uw pagina’s mag lezen en ervan mag leren.
PerplexityBotBevestigt of Perplexity toegang heeft tot uw inhoud om u in antwoorden te citeren.
ClaudeBotControleert de crawlertoegang van Anthropic voor Claude.
Google-ExtendedDe schakelaar die bepaalt of uw inhoud Google’s Gemini en AI-functies voedt.
Leest uw live robots.txtEen echte ophaalactie van uw daadwerkelijke /robots.txt — geen cache-gok of verzonnen resultaat.
Ook llms.txtRapporteert ook of u een /llms.txt publiceert om AI-engines naar uw beste inhoud te leiden.

Waarom toegang voor AI-crawlers belangrijk is

AI-engines kunnen alleen aanbevelen wat ze kunnen lezen. Eén te brede Disallow-regel in robots.txt kan u ongemerkt verwijderen uit ChatGPT, Perplexity, Claude en Gemini — een van de meest voorkomende en meest onzichtbare zichtbaarheidsfouten.

  • GPTBot — OpenAI / ChatGPT
  • OAI-SearchBot — ChatGPT search
  • PerplexityBot — Perplexity
  • ClaudeBot — Anthropic / Claude
  • Google-Extended — Google Gemini & AI-functies

Toestaan versus blokkeren — uw keuze

Sommige sites blokkeren AI-crawlers bewust om inhoud te beschermen; de meeste willen de zichtbaarheid. Hoe dan ook, u zou uw huidige staat moeten kennen. Deze tool rapporteert eenvoudigweg wat uw robots.txt vandaag zegt, zodat de beslissing weloverwogen is in plaats van toevallig.

Hoe u AI-crawlers deblokkeert

Als een crawler geblokkeerd is, verwijder of versmal de relevante Disallow-regel voor die user-agent in robots.txt en controleer opnieuw. Zodra de toegang is hersteld, zorg ervoor dat uw inhoud in statische HTML staat (niet alleen JavaScript) zodat crawlers hem daadwerkelijk zien — een gratis Beacon-account meet die render gap over uw hele site.

FAQ

Hoe weet ik of GPTBot geblokkeerd is?

Plak uw URL hierboven. Beacon leest uw live robots.txt en rapporteert of GPTBot, PerplexityBot, ClaudeBot en Google-Extended zijn toegestaan of geweigerd.

Moet ik AI-crawlers blokkeren?

Dat hangt af van uw doelen. Blokkeren beschermt inhoud tegen gebruik voor training en antwoorden, maar verwijdert u ook uit AI-aanbevelingen. De meeste merken die zichtbaarheid zoeken, zouden ze moeten toestaan.

Is dit resultaat accuraat?

Ja — het is een echte ophaalactie van uw /robots.txt op het moment van controle, geparseerd voor elke AI-user-agent. Niets wordt verzonnen.

Hoe zit het met JavaScript-weergegeven inhoud?

Crawlers toestaan is stap één; ze hebben ook leesbare HTML nodig. Als uw inhoud pas verschijnt nadat JavaScript draait, zien crawlers een lege schil. Een gratis Beacon-account meet deze render gap.

Verder lezen

Free Google AI Overviews Checker Gratis SEO-checker — een echte on-page audit in seconden. How to optimize for Google Gemini & AI Mode. The GEO glossary: AI search terms, defined.

Controleer nu uw AI-crawlertoegang

Gratis, echt, geen aanmelding — zie wie uw site kan lezen.