Con robots.txt gestionas el acceso de los bots de IA de ChatGPT, Claude, Perplexity y Google a tu sitio. Un sitio con el acceso cerrado no puede ser fuente en las respuestas de la IA.
Para poder ser fuente en las respuestas de la IA, primero los bots tienen que poder entrar en tu página. Una regla antigua de robots.txt, un plugin de seguridad o un ajuste de protección pueden estar bloqueando a estos bots en silencio. Por bien escrito que esté tu sitio, no se entra por una puerta cerrada.
Por eso empezamos el trabajo de GEO comprobando el acceso: qué bots entran, cuáles están bloqueados, ¿es una decisión consciente?
Cada gran empresa de IA tiene más de un bot, y sus nombres pueden cambiar con el tiempo. Por ejemplo, de OpenAI están GPTBot (entrenamiento de modelos), OAI-SearchBot (resultados de búsqueda de ChatGPT) y ChatGPT-User (el que mira una página a petición del usuario); de Anthropic, el bot ClaudeBot; de Perplexity, PerplexityBot; y de Google, el control Google-Extended.
El bot de Bing también es importante porque es una de las fuentes de Microsoft Copilot. Para los nombres actuales se consulta la documentación de cada empresa; nosotros montamos las reglas en consecuencia.
Si un bot lee tu página para escribir una respuesta cuando un usuario hace una pregunta, es una oportunidad de visibilidad; puede mostrarte como fuente. Si otro bot recoge contenido para entrenar un modelo de IA, es una decisión aparte: algunos negocios lo permiten y otros no.
Es posible gestionar los dos con reglas distintas. Por ejemplo, puedes dejar cerrado el bot de entrenamiento y abierto el de búsqueda. Es una decisión comercial, no tiene respuesta correcta o incorrecta; nosotros te explicamos las opciones con claridad.
El robots.txt se gestiona desde el panel. La regla lista deja el sitio abierto a todos los bots; si quieres, escribes una regla personalizada y pones permisos o prohibiciones para bots concretos. Cuando se guarda el cambio, se actualiza al instante en la publicación.
La dirección del sitemap también está en el mismo archivo. Hablamos de este tema junto con la parte de SEO en la página de SEO.
El robots.txt es una regla de cortesía; los bots la respetan, pero no están obligados a hacerlo. Los grandes bots respetuosos la cumplen; los malintencionados pueden no hacerlo. El contenido que de verdad hay que proteger no se esconde con robots.txt, sino con una contraseña de acceso o protección del servidor.
Del mismo modo, permitir en robots.txt no garantiza aparecer en las respuestas; solo abre la puerta.
Algunas capas de protección y seguridad consideran a los bots de IA "tráfico automático" y los bloquean. Un ajuste bienintencionado para la seguridad del sitio puede cerrar sin querer tu visibilidad. Corregir el robots.txt sin saberlo no sirve de nada.
Para revisar los ajustes del lado de la infraestructura, al inicio del trabajo de GEO hacemos una prueba de acceso.
Si quieres ser fuente en las respuestas, los bots de búsqueda y respuesta tienen que poder entrar en tu sitio. Permitir los bots de entrenamiento es una decisión aparte y comercial.
No. GPTBot es el bot que usa OpenAI para entrenar modelos. OAI-SearchBot es para los resultados de búsqueda de ChatGPT. Los nombres pueden cambiar con el tiempo; los actuales se consultan en la documentación de la empresa.
No. El robots.txt es una regla dirigida a los bots que la respetan. El contenido que debe quedar oculto se protege con contraseña de acceso o protección del servidor.
Sí. Usas la regla lista o escribes una regla personalizada. Al guardar, se actualiza al instante en la publicación.
No hay garantía. El permiso solo abre la puerta; aparecer o no depende de la calidad, la actualidad y la coherencia del contenido.
Sí, algunas capas de protección anti-bots también pueden bloquear a los bots de IA. Al inicio del trabajo de GEO lo comprobamos con una prueba de acceso.
Deja tu número y te llamamos. Vemos juntos la solución que encaja contigo.
Te llamamos
Türkçe
English
Deutsch
Français
Español