Si su robots.txt deniega el acceso a GPTBot, PerplexityBot, ClaudeBot o Google-Extended, esos motores no pueden leer su sitio y no lo recomendarán. Pegue su URL para obtener una lectura real de su robots.txt en vivo y ver exactamente qué rastreadores de IA están permitidos o bloqueados. Sin registro.
Los motores de IA solo pueden recomendar lo que pueden leer. Una sola línea Disallow demasiado amplia en el robots.txt puede eliminarle silenciosamente de ChatGPT, Perplexity, Claude y Gemini: uno de los errores de visibilidad más comunes e invisibles.
Algunos sitios bloquean deliberadamente a los rastreadores de IA para proteger su contenido; la mayoría desea la visibilidad. En cualquier caso, debería conocer su estado actual. Esta herramienta simplemente informa de lo que dice su robots.txt hoy, para que la decisión sea informada y no accidental.
Si un rastreador está bloqueado, elimine o restrinja la regla Disallow correspondiente a ese user-agent en el robots.txt y vuelva a comprobar. Una vez corregido el acceso, asegúrese de que su contenido esté en HTML estático (no solo en JavaScript) para que los rastreadores realmente lo vean: una cuenta gratuita de Beacon mide ese desfase de renderizado (Render Gap) en todo su sitio.
Pegue su URL más arriba. Beacon lee su robots.txt en vivo e informa de si GPTBot, PerplexityBot, ClaudeBot y Google-Extended están permitidos o denegados.
Depende de sus objetivos. Bloquearlos protege el contenido de que se use para entrenamiento y respuestas, pero también le elimina de las recomendaciones de IA. La mayoría de las marcas que buscan visibilidad deberían permitirlos.
Sí: es una obtención real de su /robots.txt en el momento de la comprobación, analizada para cada user-agent de IA. Nada está inventado.
Permitir los rastreadores es el primer paso; también necesitan un HTML legible. Si su contenido solo aparece después de que se ejecute JavaScript, los rastreadores ven un caparazón vacío. Una cuenta gratuita de Beacon mide este desfase de renderizado.
Gratis, real y sin registro: vea quién puede leer su sitio.