Gratis AI-crawler- & robots.txt-tjek
Hvis din robots.txt forbyder GPTBot, PerplexityBot, ClaudeBot eller Google-Extended, kan disse motorer ikke læse din side — og vil ikke anbefale den. Indsæt din URL og få en ægte aflæsning af din live robots.txt og se præcis, hvilke AI-crawlere der er tilladt eller blokeret. Uden tilmelding.
Hvorfor AI-crawler-adgang betyder noget
AI-motorer kan kun anbefale det, de kan læse. En enkelt for bred Disallow-linje i robots.txt kan stille og roligt fjerne dig fra ChatGPT, Perplexity, Claude og Gemini — en af de mest almindelige og mest usynlige synlighedsfejl.
- GPTBot — OpenAI / ChatGPT
- OAI-SearchBot — ChatGPT-søgning
- PerplexityBot — Perplexity
- ClaudeBot — Anthropic / Claude
- Google-Extended — Google Gemini & AI-funktioner
Tillad eller blokér — dit valg
Nogle sider blokerer bevidst AI-crawlere for at beskytte indhold; de fleste ønsker synligheden. Uanset hvad bør du kende din nuværende tilstand. Dette værktøj rapporterer blot, hvad din robots.txt siger i dag, så beslutningen er velinformeret frem for tilfældig.
Sådan ophæver du blokeringen af AI-crawlere
Hvis en crawler er blokeret, så fjern eller indsnævr den relevante Disallow-regel for den user-agent i robots.txt, og tjek igen. Når adgangen er rettet, så sørg for, at dit indhold findes i statisk HTML (ikke kun JavaScript), så crawlere faktisk ser det — en gratis Beacon-konto måler det Render Gap på tværs af din side.
FAQ
Hvordan ved jeg, om GPTBot er blokeret?
Indsæt din URL ovenfor. Beacon læser din live robots.txt og rapporterer, om GPTBot, PerplexityBot, ClaudeBot og Google-Extended er tilladt eller forbudt.
Bør jeg blokere AI-crawlere?
Det afhænger af dine mål. Blokering beskytter indhold mod at blive brugt til træning og svar, men det fjerner dig også fra AI-anbefalinger. De fleste brands, der søger synlighed, bør tillade dem.
Er dette resultat præcist?
Ja — det er en ægte hentning af din /robots.txt på tjektidspunktet, parset for hver AI-user-agent. Intet er opdigtet.
Hvad med JavaScript-gengivet indhold?
At tillade crawlere er kun første skridt; de har også brug for læsbar HTML. Hvis dit indhold først vises, efter JavaScript kører, ser crawlere en tom skal. En gratis Beacon-konto måler dette Render Gap.
Tjek din AI-crawler-adgang nu
Gratis, ægte, uden tilmelding — se hvem der kan læse din side.