Comment autoriser les crawlers IA dans robots.txt.
Si ChatGPT, Perplexity, Claude ou l’IA de Google ne peuvent pas explorer votre site, ils ne peuvent ni vous citer ni vous recommander. La cause la plus fréquente est un robots.txt qui bloque leurs crawlers — souvent par accident. Voici le robots.txt exact pour autoriser tous les grands crawlers IA, ce que fait chaque user-agent, et comment vérifier que cela fonctionne.
Mis à jour le · Par l’équipe Beacon
La réponse courte : copiez-collez ce robots.txt
Ajoutez ces blocs au robots.txt situé à la racine de votre domaine (par ex. https://votredomaine.com/robots.txt). Chaque bloc autorise explicitement un crawler IA ; le dernier bloc garde le site ouvert à tous les autres. Remplacez l’URL du sitemap par la vôtre.
# Allow the major AI crawlers to read your site
# ChatGPT (OpenAI)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
# Perplexity
User-agent: PerplexityBot
Allow: /
# Claude (Anthropic)
User-agent: ClaudeBot
Allow: /
# Google AI (Gemini & AI Overviews)
User-agent: Google-Extended
Allow: /
# Everyone else
User-agent: *
Allow: /
Sitemap: https://yourdomain.com/sitemap.xmlCe que fait chaque user-agent IA
Voici les crawlers qu’il vaut la peine d’autoriser en 2026, et pourquoi :
- GPTBot — le crawler d’OpenAI qui collecte des données pour entraîner et améliorer ChatGPT. Autorisez-le pour être éligible à la connaissance de ChatGPT.
- OAI-SearchBot — le crawler d’OpenAI pour la recherche et la navigation en direct de ChatGPT. Nécessaire pour être cité dans les réponses de ChatGPT en temps réel.
- PerplexityBot — le crawler de Perplexity pour son moteur de réponses IA et ses citations.
- ClaudeBot — le crawler d’Anthropic pour Claude. (Vous pouvez aussi rencontrer anthropic-ai et Claude-Web.)
- Google-Extended — un jeton Google qui contrôle l’utilisation de votre contenu dans Gemini et les AI Overviews, sans affecter l’indexation habituelle de Google Search.
- Applebot-Extended — contrôle l’utilisation de votre contenu dans Apple Intelligence ; autorisez-le si cela compte pour vous.
Comment « autoriser » fonctionne réellement
robots.txt fonctionne par autorisation par défaut : un crawler peut récupérer toute URL qui n’est pas explicitement interdite pour son user-agent. La vraie question est donc généralement de savoir si vous bloquez les robots IA par accident. Deux choses à vérifier : un « Disallow: / » sous « User-agent: * » (qui bloque tout le monde, y compris l’IA), et tout bloc « Disallow » propre à un robot qui nomme GPTBot, PerplexityBot et les autres. Le modèle ci-dessus rend l’intention explicite et sûre.
Comment vérifier que cela fonctionne
Après avoir publié robots.txt, confirmez-le : ouvrez https://votredomaine.com/robots.txt dans un navigateur pour voir le fichier en direct, et lancez une vérification gratuite des crawlers IA qui le lit et signale quels robots IA sont autorisés ou bloqués. N’oubliez pas que robots.txt ne contrôle que l’accès à l’exploration — votre contenu doit encore exister dans le HTML statique (et pas uniquement après JavaScript) pour que les crawlers IA puissent réellement le lire.
Faut-il autoriser tous les crawlers IA ?
Pour la plupart des sites qui veulent une visibilité IA : oui. Être lisible est le prix à payer pour être recommandé. Les exceptions sont le contenu que vous ne voulez pas voir utilisé pour l’entraînement (certains éditeurs bloquent GPTBot mais autorisent tout de même OAI-SearchBot afin d’apparaître dans les réponses sans alimenter l’entraînement), ainsi que les zones payantes ou privées que vous devriez interdire à tous les robots. Décidez robot par robot — GPTBot (entraînement) et OAI-SearchBot (réponses en direct) peuvent être traités différemment.
FAQ
Comment autoriser les crawlers IA dans robots.txt ?
Ajoutez un bloc « Allow: / » pour chaque user-agent IA (GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Google-Extended) dans le robots.txt à la racine de votre domaine, et assurez-vous qu’aucune règle « Disallow: / » ne les bloque. Copiez le modèle ci-dessus et remplacez l’URL du sitemap.
Quels crawlers IA devrais-je autoriser ?
Les principaux en 2026 sont GPTBot et OAI-SearchBot (ChatGPT), PerplexityBot (Perplexity), ClaudeBot (Claude) et Google-Extended (Gemini et AI Overviews). Autorisez-les tous pour être éligible aux recommandations sur les grands moteurs IA.
Autoriser GPTBot signifie-t-il qu’OpenAI s’entraîne sur mon contenu ?
GPTBot est le crawler d’entraînement ; OAI-SearchBot est le crawler des réponses en direct. Si vous voulez apparaître dans les réponses de ChatGPT sans alimenter l’entraînement, vous pouvez autoriser OAI-SearchBot et interdire spécifiquement GPTBot.
Qu’est-ce que Google-Extended ?
Un jeton de contrôle distinct : l’autoriser permet à Google d’utiliser votre contenu pour Gemini et les AI Overviews, tandis que le bloquer n’affecte pas votre classement habituel dans Google Search. Ils sont indépendants.
Comment savoir si je bloque les crawlers IA ?
Ouvrez votre robots.txt en direct et cherchez des règles « Disallow » sous « User-agent: * » ou sous des noms de robots IA spécifiques — ou lancez un vérificateur de crawlers IA gratuit qui lit votre robots.txt et liste précisément quels robots IA sont autorisés ou bloqués.
Vérifiez quels crawlers IA peuvent lire votre site
Vérification instantanée et gratuite du robots.txt pour GPTBot, PerplexityBot, ClaudeBot et plus — sans inscription.