robots.txt’niz GPTBot, PerplexityBot, ClaudeBot veya Google-Extended’i engelliyorsa, bu motorlar sitenizi okuyamaz — ve onu önermez. Canlı robots.txt’nizin gerçek bir okuması için URL’nizi yapıştırın ve hangi AI tarayıcılarına izin verildiğini veya engellendiğini tam olarak görün. Kayıt gerekmez.
AI motorları yalnızca okuyabildiklerini önerebilir. robots.txt’de fazla genel tek bir Disallow satırı, sizi sessizce ChatGPT, Perplexity, Claude ve Gemini’den kaldırabilir — en yaygın ve en görünmez görünürlük hatalarından biri.
Bazı siteler içeriği korumak için AI tarayıcılarını bilinçli olarak engeller; çoğu görünürlüğü ister. Her iki durumda da mevcut durumunuzu bilmelisiniz. Bu araç yalnızca robots.txt’nizin bugün ne dediğini raporlar, böylece karar tesadüfi değil bilinçli olur.
Bir tarayıcı engellenmişse, robots.txt’de o user-agent için ilgili Disallow kuralını kaldırın veya daraltın, ardından yeniden kontrol edin. Erişim düzeltildikten sonra, içeriğinizin statik HTML’de (yalnızca JavaScript’te değil) olduğundan emin olun, böylece tarayıcılar onu gerçekten görür — ücretsiz bir Beacon hesabı bu render açığını siteniz genelinde ölçer.
URL’nizi yukarıya yapıştırın. Beacon canlı robots.txt’nizi okur ve GPTBot, PerplexityBot, ClaudeBot ve Google-Extended’e izin verilip verilmediğini raporlar.
Bu hedeflerinize bağlıdır. Engellemek içeriğin eğitim ve yanıtlar için kullanılmasını önler, ancak sizi AI önerilerinden de çıkarır. Görünürlük arayan çoğu markanın bunlara izin vermesi gerekir.
Evet — kontrol anında /robots.txt’nizin gerçek bir getirilmesidir, her AI user-agent için ayrıştırılır. Hiçbir şey uydurulmaz.
Tarayıcılara izin vermek birinci adımdır; ayrıca okunabilir HTML’e de ihtiyaç duyarlar. İçeriğiniz yalnızca JavaScript çalıştıktan sonra görünüyorsa, tarayıcılar boş bir kabuk görür. Ücretsiz bir Beacon hesabı bu render açığını ölçer.
Ücretsiz, gerçek, kayıt gerekmez — sitenizi kimin okuyabildiğini görün.