BEACON 免费工具

你的网站在屏蔽 AI 爬虫吗?

如果你的 robots.txt 禁止 GPTBot、PerplexityBot、ClaudeBot 或 Google-Extended,这些引擎就无法读取你的网站 — 也就不会推荐它。粘贴你的网址,即可真实读取你的实时 robots.txt,看清哪些 AI 爬虫被允许或被屏蔽。无需注册。

https://
GPTBot(ChatGPT)检查 OpenAI 的爬虫是否被允许读取并学习你的页面。
PerplexityBot确认 Perplexity 能否访问你的内容,从而在答案中引用你。
ClaudeBot检查 Anthropic 的爬虫对 Claude 的访问权限。
Google-Extended控制你的内容是否供给 Google Gemini 及 AI 功能的开关。
读取你的实时 robots.txt对你实际的 /robots.txt 进行真实抓取 — 而非缓存的猜测或编造的结果。
同时检测 llms.txt还会报告你是否发布了 /llms.txt,以引导 AI 引擎找到你最优质的内容。

为什么 AI 爬虫访问权限很重要

AI 引擎只能推荐它们能读取的内容。robots.txt 中一行过于宽泛的 Disallow,就可能悄悄把你从 ChatGPT、Perplexity、Claude 和 Gemini 中移除 — 这是最常见、也最隐形的可见性错误之一。

  • GPTBot — OpenAI / ChatGPT
  • OAI-SearchBot — ChatGPT 搜索
  • PerplexityBot — Perplexity
  • ClaudeBot — Anthropic / Claude
  • Google-Extended — Google Gemini 及 AI 功能

允许还是屏蔽 — 由你决定

有些网站刻意屏蔽 AI 爬虫以保护内容;大多数网站则想要可见性。无论哪种,你都应了解自己当前的状态。这个工具只是报告你的 robots.txt 今天的内容,让决策出于知情而非意外。

如何解除对 AI 爬虫的屏蔽

如果某个爬虫被屏蔽,请在 robots.txt 中移除或收窄针对该 user-agent 的相关 Disallow 规则,然后重新检测。修复访问权限后,确保你的内容存在于静态 HTML 中(而非仅靠 JavaScript),这样爬虫才能真正看到 — 免费的 Beacon 账户会衡量你整站的这一渲染差距。

FAQ

我怎么知道 GPTBot 是否被屏蔽?

在上方粘贴你的网址。Beacon 会读取你的实时 robots.txt,并报告 GPTBot、PerplexityBot、ClaudeBot 和 Google-Extended 是被允许还是被禁止。

我应该屏蔽 AI 爬虫吗?

这取决于你的目标。屏蔽可以保护内容不被用于训练和答案,但也会让你从 AI 推荐中消失。大多数追求可见性的品牌应当允许它们。

这个结果准确吗?

是的 — 它是在检测时对你 /robots.txt 的真实抓取,并针对每个 AI user-agent 进行解析。没有任何编造。

JavaScript 渲染的内容怎么办?

允许爬虫只是第一步;它们还需要可读的 HTML。如果你的内容只有在 JavaScript 运行后才出现,爬虫看到的就是一个空壳。免费的 Beacon 账户会衡量这一渲染差距。

立即检查你的 AI 爬虫访问权限

免费、真实、无需注册 — 看清谁能读取你的网站。

免费开始 运行免费检测