Als uw robots.txt GPTBot, PerplexityBot, ClaudeBot of Google-Extended weigert, kunnen die engines uw site niet lezen — en zullen ze hem niet aanbevelen. Plak uw URL voor een echte uitlezing van uw live robots.txt en zie precies welke AI-crawlers worden toegestaan of geblokkeerd. Geen aanmelding.
AI-engines kunnen alleen aanbevelen wat ze kunnen lezen. Eén te brede Disallow-regel in robots.txt kan u ongemerkt verwijderen uit ChatGPT, Perplexity, Claude en Gemini — een van de meest voorkomende en meest onzichtbare zichtbaarheidsfouten.
Sommige sites blokkeren AI-crawlers bewust om inhoud te beschermen; de meeste willen de zichtbaarheid. Hoe dan ook, u zou uw huidige staat moeten kennen. Deze tool rapporteert eenvoudigweg wat uw robots.txt vandaag zegt, zodat de beslissing weloverwogen is in plaats van toevallig.
Als een crawler geblokkeerd is, verwijder of versmal de relevante Disallow-regel voor die user-agent in robots.txt en controleer opnieuw. Zodra de toegang is hersteld, zorg ervoor dat uw inhoud in statische HTML staat (niet alleen JavaScript) zodat crawlers hem daadwerkelijk zien — een gratis Beacon-account meet die render gap over uw hele site.
Plak uw URL hierboven. Beacon leest uw live robots.txt en rapporteert of GPTBot, PerplexityBot, ClaudeBot en Google-Extended zijn toegestaan of geweigerd.
Dat hangt af van uw doelen. Blokkeren beschermt inhoud tegen gebruik voor training en antwoorden, maar verwijdert u ook uit AI-aanbevelingen. De meeste merken die zichtbaarheid zoeken, zouden ze moeten toestaan.
Ja — het is een echte ophaalactie van uw /robots.txt op het moment van controle, geparseerd voor elke AI-user-agent. Niets wordt verzonnen.
Crawlers toestaan is stap één; ze hebben ook leesbare HTML nodig. Als uw inhoud pas verschijnt nadat JavaScript draait, zien crawlers een lege schil. Een gratis Beacon-account meet deze render gap.
Gratis, echt, geen aanmelding — zie wie uw site kan lezen.