無料 AIクローラー & robots.txt チェッカー
robots.txt が GPTBot、PerplexityBot、ClaudeBot、Google-Extended を不許可にしていると、これらのエンジンはあなたのサイトを読めず — 推薦もしません。URL を貼り付ければ、ライブの robots.txt を本物として読み取り、どの AIクローラーが許可・ブロックされているかを正確に表示します。登録不要。
なぜ AIクローラーのアクセスが重要なのか
AIエンジンは読めるものしか推薦できません。robots.txt のたった 1 行の広すぎる Disallow が、あなたを ChatGPT、Perplexity、Claude、Gemini から静かに排除してしまうことがあります — 最もよくある、そして最も気づかれにくい可視性のミスの 1 つです。
- GPTBot — OpenAI／ChatGPT
- OAI-SearchBot — ChatGPT 検索
- PerplexityBot — Perplexity
- ClaudeBot — Anthropic／Claude
- Google-Extended — Google Gemini と AI 機能
許可するかブロックするか — あなたの選択
コンテンツを守るために意図的に AIクローラーをブロックするサイトもありますが、多くは可視性を求めます。いずれにせよ、現在の状態を把握しておくべきです。このツールは、あなたの robots.txt が今日何を言っているかを単に報告するので、偶然ではなく情報に基づいた判断ができます。
AIクローラーのブロックを解除する方法
クローラーがブロックされている場合は、robots.txt 内のその user-agent に対する該当 Disallow ルールを削除または範囲を狭め、再チェックします。アクセスを直した後は、コンテンツが（JavaScript のみではなく）静的 HTML にあることを確認し、クローラーが実際に見られるようにします — 無料の Beacon アカウントが、そのレンダーギャップをサイト全体で測定します。
よくある質問
GPTBot がブロックされているかをどう確認しますか？
上に URL を貼り付けてください。Beacon がライブの robots.txt を読み取り、GPTBot、PerplexityBot、ClaudeBot、Google-Extended が許可されているか不許可かを報告します。
AIクローラーはブロックすべきですか？
目的次第です。ブロックすればトレーニングや回答にコンテンツが使われるのを防げますが、AI の推薦からも外れます。可視性を求めるブランドの多くは許可すべきです。
この結果は正確ですか？
はい — チェック時点での /robots.txt を本物として取得し、各 AI の user-agent ごとに解析します。捏造は一切ありません。
JavaScript でレンダリングされるコンテンツはどうですか？
クローラーを許可するのは第一歩で、彼らには読める HTML も必要です。コンテンツが JavaScript 実行後にしか現れない場合、クローラーは空の殻を見ます。無料の Beacon アカウントがこのレンダーギャップを測定します。