Ücretsiz AI Tarayıcı ve robots.txt Denetleyicisi
robots.txt’niz GPTBot, PerplexityBot, ClaudeBot veya Google-Extended’i engelliyorsa, bu motorlar sitenizi okuyamaz — ve onu önermez. Canlı robots.txt’nizin gerçek bir okuması için URL’nizi yapıştırın ve hangi AI tarayıcılarına izin verildiğini veya engellendiğini tam olarak görün. Kayıt gerekmez.
AI tarayıcı erişimi neden önemli
AI motorları yalnızca okuyabildiklerini önerebilir. robots.txt’de fazla genel tek bir Disallow satırı, sizi sessizce ChatGPT, Perplexity, Claude ve Gemini’den kaldırabilir — en yaygın ve en görünmez görünürlük hatalarından biri.
- GPTBot — OpenAI / ChatGPT
- OAI-SearchBot — ChatGPT araması
- PerplexityBot — Perplexity
- ClaudeBot — Anthropic / Claude
- Google-Extended — Google Gemini ve AI özellikleri
İzin vermek mi engellemek mi — seçim sizin
Bazı siteler içeriği korumak için AI tarayıcılarını bilinçli olarak engeller; çoğu görünürlüğü ister. Her iki durumda da mevcut durumunuzu bilmelisiniz. Bu araç yalnızca robots.txt’nizin bugün ne dediğini raporlar, böylece karar tesadüfi değil bilinçli olur.
AI tarayıcılarının engelini nasıl kaldırırsınız
Bir tarayıcı engellenmişse, robots.txt’de o user-agent için ilgili Disallow kuralını kaldırın veya daraltın, ardından yeniden kontrol edin. Erişim düzeltildikten sonra, içeriğinizin statik HTML’de (yalnızca JavaScript’te değil) olduğundan emin olun, böylece tarayıcılar onu gerçekten görür — ücretsiz bir Beacon hesabı bu render açığını siteniz genelinde ölçer.
SSS
GPTBot’un engellenip engellenmediğini nasıl anlarım?
URL’nizi yukarıya yapıştırın. Beacon canlı robots.txt’nizi okur ve GPTBot, PerplexityBot, ClaudeBot ve Google-Extended’e izin verilip verilmediğini raporlar.
AI tarayıcılarını engellemeli miyim?
Bu hedeflerinize bağlıdır. Engellemek içeriğin eğitim ve yanıtlar için kullanılmasını önler, ancak sizi AI önerilerinden de çıkarır. Görünürlük arayan çoğu markanın bunlara izin vermesi gerekir.
Bu sonuç doğru mu?
Evet — kontrol anında /robots.txt’nizin gerçek bir getirilmesidir, her AI user-agent için ayrıştırılır. Hiçbir şey uydurulmaz.
JavaScript ile oluşturulan içerik ne olacak?
Tarayıcılara izin vermek birinci adımdır; ayrıca okunabilir HTML’e de ihtiyaç duyarlar. İçeriğiniz yalnızca JavaScript çalıştıktan sonra görünüyorsa, tarayıcılar boş bir kabuk görür. Ücretsiz bir Beacon hesabı bu render açığını ölçer.
AI tarayıcı erişiminizi şimdi kontrol edin
Ücretsiz, gerçek, kayıt gerekmez — sitenizi kimin okuyabildiğini görün.