Si ChatGPT, Perplexity, Claude o la IA de Google no pueden rastrear su sitio, no pueden citarle ni recomendarle. La razón más común es un robots.txt que bloquea sus rastreadores, a menudo por accidente. Aquí tiene el robots.txt exacto para permitir todos los principales rastreadores de IA, qué hace cada user-agent y cómo comprobar que funciona.
Añada estos bloques al robots.txt en la raíz de su dominio (p. ej. https://yourdomain.com/robots.txt). Cada bloque permite explícitamente un rastreador de IA; el bloque final mantiene el sitio abierto para todos los demás. Sustituya la URL del sitemap por la suya.
# Allow the major AI crawlers to read your site
# ChatGPT (OpenAI)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
# Perplexity
User-agent: PerplexityBot
Allow: /
# Claude (Anthropic)
User-agent: ClaudeBot
Allow: /
# Google AI (Gemini & AI Overviews)
User-agent: Google-Extended
Allow: /
# Everyone else
User-agent: *
Allow: /
Sitemap: https://yourdomain.com/sitemap.xmlEstos son los rastreadores que vale la pena permitir en 2026, y por qué:
El robots.txt permite por defecto: un rastreador puede obtener cualquier URL que no esté explícitamente denegada para su user-agent. Así que la verdadera pregunta suele ser si está bloqueando a los bots de IA por accidente. Dos cosas que comprobar: un «Disallow: /» bajo «User-agent: *» (que bloquea a todos, incluida la IA) y cualquier bloque «Disallow» específico de un bot que nombre a GPTBot, PerplexityBot y los demás. La plantilla de arriba hace que la intención sea explícita y segura.
Después de publicar el robots.txt, confírmelo: abra https://yourdomain.com/robots.txt en un navegador para ver el archivo en vivo y ejecute una comprobación gratuita de rastreadores de IA que lo lea e informe de qué bots de IA están permitidos o bloqueados. Recuerde que el robots.txt solo controla el acceso de rastreo: su contenido aún tiene que existir en el HTML estático (no solo después de que se ejecute JavaScript) para que los rastreadores de IA lo lean realmente.
Para la mayoría de los sitios que quieren visibilidad en IA: sí. Ser legible es el precio de ser recomendado. Las excepciones son el contenido que no quiere que se use para entrenamiento (algunos editores bloquean GPTBot pero permiten OAI-SearchBot para aparecer en las respuestas sin alimentar el entrenamiento) y las áreas privadas o de pago que debería denegar a todos los bots. Decida bot por bot: GPTBot (entrenamiento) y OAI-SearchBot (respuestas en vivo) pueden tratarse de forma diferente.
Añada un bloque «Allow: /» para cada user-agent de IA (GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Google-Extended) en el robots.txt de la raíz de su dominio, y asegúrese de que ninguna regla «Disallow: /» los bloquee. Copie la plantilla de arriba y sustituya la URL del sitemap.
Los principales en 2026 son GPTBot y OAI-SearchBot (ChatGPT), PerplexityBot (Perplexity), ClaudeBot (Claude) y Google-Extended (Gemini y AI Overviews). Permítalos todos para poder recibir recomendaciones en los principales motores de IA.
GPTBot es el rastreador de entrenamiento; OAI-SearchBot es el rastreador de respuestas en vivo. Si quiere aparecer en las respuestas de ChatGPT pero no alimentar el entrenamiento, puede permitir OAI-SearchBot y denegar GPTBot específicamente.
Un token de control independiente: permitirlo deja que Google use su contenido para Gemini y AI Overviews, mientras que bloquearlo no afecta a su posicionamiento normal en Google Search. Son independientes.
Abra su robots.txt en vivo y busque reglas «Disallow» bajo «User-agent: *» o bajo nombres específicos de bots de IA, o ejecute un verificador gratuito de rastreadores de IA que lea su robots.txt y liste exactamente qué bots de IA están permitidos o bloqueados.
Comprobación gratuita e instantánea del robots.txt para GPTBot, PerplexityBot, ClaudeBot y más, sin registro.