Przejdź do treści
BEACON Darmowe narzędzie

Darmowy test crawlerów AI i robots.txt

Jeśli Twój plik robots.txt zabrania dostępu GPTBot, PerplexityBot, ClaudeBot lub Google-Extended, te silniki nie mogą odczytać Twojej witryny — i jej nie polecą. Wklej swój adres URL, aby uzyskać rzeczywisty odczyt Twojego pliku robots.txt na żywo i zobaczyć dokładnie, które crawlery AI są dopuszczone, a które zablokowane. Bez rejestracji.

https://
GPTBot (ChatGPT)Sprawdza, czy crawler OpenAI ma zgodę na odczyt i naukę z Twoich stron.
PerplexityBotPotwierdza, czy Perplexity może uzyskać dostęp do Twojej treści, aby cytować Cię w odpowiedziach.
ClaudeBotSprawdza dostęp crawlera Anthropic dla Claude.
Google-ExtendedPrzełącznik kontrolujący, czy Twoja treść zasila Gemini i funkcje AI Google.
Odczytuje Twój plik robots.txt na żywoRzeczywiste pobranie Twojego faktycznego /robots.txt — nie domysł z cache ani zmyślony wynik.
Także llms.txtRaportuje również, czy publikujesz plik /llms.txt, aby kierować silniki AI do Twoich najlepszych treści.

Dlaczego dostęp crawlerów AI ma znaczenie

Silniki AI mogą polecać tylko to, co potrafią odczytać. Pojedyncza, zbyt szeroka reguła Disallow w pliku robots.txt może po cichu usunąć Cię z ChatGPT, Perplexity, Claude i Gemini — to jeden z najczęstszych i najbardziej niewidocznych błędów widoczności.

  • GPTBot — OpenAI / ChatGPT
  • OAI-SearchBot — wyszukiwanie ChatGPT
  • PerplexityBot — Perplexity
  • ClaudeBot — Anthropic / Claude
  • Google-Extended — Gemini i funkcje AI Google

Dopuszczanie czy blokowanie — Twój wybór

Niektóre witryny celowo blokują crawlery AI, by chronić treść; większość pragnie widoczności. Tak czy inaczej, powinieneś znać swój obecny stan. To narzędzie po prostu raportuje to, co dziś mówi Twój plik robots.txt, aby decyzja była świadoma, a nie przypadkowa.

Jak odblokować crawlery AI

Jeśli crawler jest zablokowany, usuń lub zawęź odpowiednią regułę Disallow dla danego user-agenta w pliku robots.txt, a następnie sprawdź ponownie. Po naprawieniu dostępu upewnij się, że Twoja treść znajduje się w statycznym HTML (a nie tylko w JavaScripcie), aby crawlery faktycznie ją widziały — darmowe konto Beacon mierzy tę lukę renderowania w całej witrynie.

FAQ

Skąd mam wiedzieć, czy GPTBot jest zablokowany?

Wklej swój adres URL powyżej. Beacon odczytuje Twój plik robots.txt na żywo i raportuje, czy GPTBot, PerplexityBot, ClaudeBot i Google-Extended są dopuszczone, czy zablokowane.

Czy powinienem blokować crawlery AI?

To zależy od Twoich celów. Blokowanie chroni treść przed wykorzystaniem do trenowania i odpowiedzi, ale usuwa Cię też z rekomendacji AI. Większość marek dążących do widoczności powinna je dopuścić.

Czy ten wynik jest dokładny?

Tak — to rzeczywiste pobranie Twojego /robots.txt w momencie sprawdzania, przeanalizowane dla każdego user-agenta AI. Nic nie jest zmyślane.

A co z treścią renderowaną przez JavaScript?

Dopuszczenie crawlerów to pierwszy krok; potrzebują one także czytelnego kodu HTML. Jeśli Twoja treść pojawia się dopiero po uruchomieniu JavaScriptu, crawlery widzą pustą skorupę. Darmowe konto Beacon mierzy tę lukę renderowania.

Czytaj dalej

Free Google AI Overviews Checker Darmowy test SEO — rzeczywisty audyt on-page w kilka sekund. How to optimize for Google Gemini & AI Mode. The GEO glossary: AI search terms, defined.

Sprawdź teraz dostęp crawlerów AI

Za darmo, rzeczywiście, bez rejestracji — zobacz, kto może odczytać Twoją witrynę.