Hvis robots.txt-en din nekter GPTBot, PerplexityBot, ClaudeBot eller Google-Extended, kan ikke disse motorene lese nettstedet ditt — og vil ikke anbefale det. Lim inn URL-en din for en ekte lesning av din live robots.txt, og se nøyaktig hvilke AI-crawlere som er tillatt eller blokkert. Uten registrering.
AI-motorer kan bare anbefale det de kan lese. En enkelt altfor bred Disallow-linje i robots.txt kan stille fjerne deg fra ChatGPT, Perplexity, Claude og Gemini — en av de vanligste og mest usynlige synlighetsfeilene.
Noen nettsteder blokkerer bevisst AI-crawlere for å beskytte innhold; de fleste ønsker synligheten. Uansett bør du kjenne din nåværende tilstand. Dette verktøyet rapporterer ganske enkelt hva robots.txt-en din sier i dag, slik at avgjørelsen blir informert i stedet for tilfeldig.
Hvis en crawler er blokkert, fjern eller snevre inn den relevante Disallow-regelen for den user-agenten i robots.txt, og sjekk på nytt. Etter at tilgangen er fikset, sørg for at innholdet ditt finnes i statisk HTML (ikke kun JavaScript) slik at crawlerne faktisk ser det — en gratis Beacon-konto måler dette Render Gap-et på tvers av nettstedet ditt.
Lim inn URL-en din over. Beacon leser din live robots.txt og rapporterer om GPTBot, PerplexityBot, ClaudeBot og Google-Extended er tillatt eller nektet.
Det avhenger av målene dine. Blokkering beskytter innhold mot å bli brukt til trening og svar, men det fjerner deg også fra AI-anbefalinger. De fleste merkevarer som søker synlighet bør tillate dem.
Ja — det er en ekte henting av din /robots.txt på sjekketidspunktet, parset for hver AI-user-agent. Ingenting er oppdiktet.
Å tillate crawlere er steg én; de trenger også lesbar HTML. Hvis innholdet ditt kun vises etter at JavaScript kjører, ser crawlerne et tomt skall. En gratis Beacon-konto måler dette Render Gap-et.
Gratis, ekte, uten registrering — se hvem som kan lese nettstedet ditt.