如果你的 robots.txt 禁止 GPTBot、PerplexityBot、ClaudeBot 或 Google-Extended,这些引擎就无法读取你的网站 — 也就不会推荐它。粘贴你的网址,即可真实读取你的实时 robots.txt,看清哪些 AI 爬虫被允许或被屏蔽。无需注册。
AI 引擎只能推荐它们能读取的内容。robots.txt 中一行过于宽泛的 Disallow,就可能悄悄把你从 ChatGPT、Perplexity、Claude 和 Gemini 中移除 — 这是最常见、也最隐形的可见性错误之一。
有些网站刻意屏蔽 AI 爬虫以保护内容;大多数网站则想要可见性。无论哪种,你都应了解自己当前的状态。这个工具只是报告你的 robots.txt 今天的内容,让决策出于知情而非意外。
如果某个爬虫被屏蔽,请在 robots.txt 中移除或收窄针对该 user-agent 的相关 Disallow 规则,然后重新检测。修复访问权限后,确保你的内容存在于静态 HTML 中(而非仅靠 JavaScript),这样爬虫才能真正看到 — 免费的 Beacon 账户会衡量你整站的这一渲染差距。
在上方粘贴你的网址。Beacon 会读取你的实时 robots.txt,并报告 GPTBot、PerplexityBot、ClaudeBot 和 Google-Extended 是被允许还是被禁止。
这取决于你的目标。屏蔽可以保护内容不被用于训练和答案,但也会让你从 AI 推荐中消失。大多数追求可见性的品牌应当允许它们。
是的 — 它是在检测时对你 /robots.txt 的真实抓取,并针对每个 AI user-agent 进行解析。没有任何编造。
允许爬虫只是第一步;它们还需要可读的 HTML。如果你的内容只有在 JavaScript 运行后才出现,爬虫看到的就是一个空壳。免费的 Beacon 账户会衡量这一渲染差距。