Si ChatGPT, Perplexity, Claude ou l’IA de Google ne peuvent pas explorer votre site, ils ne peuvent ni vous citer ni vous recommander. La cause la plus fréquente est un robots.txt qui bloque leurs crawlers — souvent par accident. Voici le robots.txt exact pour autoriser tous les grands crawlers IA, ce que fait chaque user-agent, et comment vérifier que cela fonctionne.
Ajoutez ces blocs au robots.txt situé à la racine de votre domaine (par ex. https://votredomaine.com/robots.txt). Chaque bloc autorise explicitement un crawler IA ; le dernier bloc garde le site ouvert à tous les autres. Remplacez l’URL du sitemap par la vôtre.
# Allow the major AI crawlers to read your site
# ChatGPT (OpenAI)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
# Perplexity
User-agent: PerplexityBot
Allow: /
# Claude (Anthropic)
User-agent: ClaudeBot
Allow: /
# Google AI (Gemini & AI Overviews)
User-agent: Google-Extended
Allow: /
# Everyone else
User-agent: *
Allow: /
Sitemap: https://yourdomain.com/sitemap.xmlVoici les crawlers qu’il vaut la peine d’autoriser en 2026, et pourquoi :
robots.txt fonctionne par autorisation par défaut : un crawler peut récupérer toute URL qui n’est pas explicitement interdite pour son user-agent. La vraie question est donc généralement de savoir si vous bloquez les robots IA par accident. Deux choses à vérifier : un « Disallow: / » sous « User-agent: * » (qui bloque tout le monde, y compris l’IA), et tout bloc « Disallow » propre à un robot qui nomme GPTBot, PerplexityBot et les autres. Le modèle ci-dessus rend l’intention explicite et sûre.
Après avoir publié robots.txt, confirmez-le : ouvrez https://votredomaine.com/robots.txt dans un navigateur pour voir le fichier en direct, et lancez une vérification gratuite des crawlers IA qui le lit et signale quels robots IA sont autorisés ou bloqués. N’oubliez pas que robots.txt ne contrôle que l’accès à l’exploration — votre contenu doit encore exister dans le HTML statique (et pas uniquement après JavaScript) pour que les crawlers IA puissent réellement le lire.
Pour la plupart des sites qui veulent une visibilité IA : oui. Être lisible est le prix à payer pour être recommandé. Les exceptions sont le contenu que vous ne voulez pas voir utilisé pour l’entraînement (certains éditeurs bloquent GPTBot mais autorisent tout de même OAI-SearchBot afin d’apparaître dans les réponses sans alimenter l’entraînement), ainsi que les zones payantes ou privées que vous devriez interdire à tous les robots. Décidez robot par robot — GPTBot (entraînement) et OAI-SearchBot (réponses en direct) peuvent être traités différemment.
Ajoutez un bloc « Allow: / » pour chaque user-agent IA (GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Google-Extended) dans le robots.txt à la racine de votre domaine, et assurez-vous qu’aucune règle « Disallow: / » ne les bloque. Copiez le modèle ci-dessus et remplacez l’URL du sitemap.
Les principaux en 2026 sont GPTBot et OAI-SearchBot (ChatGPT), PerplexityBot (Perplexity), ClaudeBot (Claude) et Google-Extended (Gemini et AI Overviews). Autorisez-les tous pour être éligible aux recommandations sur les grands moteurs IA.
GPTBot est le crawler d’entraînement ; OAI-SearchBot est le crawler des réponses en direct. Si vous voulez apparaître dans les réponses de ChatGPT sans alimenter l’entraînement, vous pouvez autoriser OAI-SearchBot et interdire spécifiquement GPTBot.
Un jeton de contrôle distinct : l’autoriser permet à Google d’utiliser votre contenu pour Gemini et les AI Overviews, tandis que le bloquer n’affecte pas votre classement habituel dans Google Search. Ils sont indépendants.
Ouvrez votre robots.txt en direct et cherchez des règles « Disallow » sous « User-agent: * » ou sous des noms de robots IA spécifiques — ou lancez un vérificateur de crawlers IA gratuit qui lit votre robots.txt et liste précisément quels robots IA sont autorisés ou bloqués.
Vérification instantanée et gratuite du robots.txt pour GPTBot, PerplexityBot, ClaudeBot et plus — sans inscription.