Om din robots.txt förbjuder GPTBot, PerplexityBot, ClaudeBot eller Google-Extended kan dessa motorer inte läsa din webbplats — och kommer inte att rekommendera den. Klistra in din URL för en verklig läsning av din live robots.txt och se exakt vilka AI-crawlers som är tillåtna eller blockerade. Utan registrering.
AI-motorer kan bara rekommendera det de kan läsa. En enda alltför bred Disallow-rad i robots.txt kan i tysthet ta bort dig från ChatGPT, Perplexity, Claude och Gemini — ett av de vanligaste och mest osynliga synlighetsmisstagen.
Vissa webbplatser blockerar avsiktligt AI-crawlers för att skydda innehåll; de flesta vill ha synligheten. Oavsett vilket bör du känna till ditt nuvarande läge. Det här verktyget rapporterar helt enkelt vad din robots.txt säger idag, så att beslutet blir medvetet snarare än oavsiktligt.
Om en crawler är blockerad, ta bort eller begränsa den relevanta Disallow-regeln för den user-agenten i robots.txt och kontrollera igen. När åtkomsten är åtgärdad, se till att ditt innehåll finns i statisk HTML (inte enbart JavaScript) så att crawlers faktiskt ser det — ett gratis Beacon-konto mäter den render gap över hela din webbplats.
Klistra in din URL ovan. Beacon läser din live robots.txt och rapporterar om GPTBot, PerplexityBot, ClaudeBot och Google-Extended är tillåtna eller förbjudna.
Det beror på dina mål. Att blockera skyddar innehåll från att användas för träning och svar, men det tar också bort dig från AI-rekommendationer. De flesta varumärken som söker synlighet bör tillåta dem.
Ja — det är en verklig hämtning av din /robots.txt vid kontrolltillfället, tolkad för varje AI-user-agent. Inget är påhittat.
Att tillåta crawlers är steg ett; de behöver också läsbar HTML. Om ditt innehåll bara visas efter att JavaScript körts ser crawlers ett tomt skal. Ett gratis Beacon-konto mäter denna render gap.
Gratis, verkligt, utan registrering — se vem som kan läsa din webbplats.