Avec le robots.txt, vous gérez l’accès des robots d’IA de ChatGPT, Claude, Perplexity et Google à votre site. Un site dont l’accès est fermé ne peut pas devenir une source dans les réponses de l’IA.
Pour devenir une source dans les réponses de l’IA, les robots doivent d’abord pouvoir entrer sur votre page. Une ancienne règle de robots.txt, une extension de sécurité ou un réglage de protection peut bloquer ces robots en silence. Aussi bien écrit que soit votre site, on n’entre pas par une porte fermée.
C’est pourquoi nous commençons le travail de GEO par vérifier l’accès : quels robots entrent, lesquels sont bloqués, est-ce une décision consciente ?
Chaque grande entreprise d’IA a plusieurs robots, et leurs noms peuvent changer avec le temps. Par exemple, chez OpenAI : GPTBot (entraînement des modèles), OAI-SearchBot (résultats de recherche de ChatGPT) et ChatGPT-User (qui consulte une page à la demande de l’utilisateur) ; chez Anthropic, le robot ClaudeBot ; chez Perplexity, PerplexityBot ; chez Google, le contrôle Google-Extended.
Le robot de Bing compte aussi, car il est l’une des sources de Microsoft Copilot. Pour les noms à jour, on consulte la documentation de chaque entreprise ; nous établissons les règles en conséquence.
Si un robot lit votre page pour écrire une réponse quand un utilisateur pose une question, c’est une occasion de visibilité ; il peut vous afficher comme source. Si un autre robot collecte du contenu pour entraîner un modèle d’IA, c’est une décision à part : certaines entreprises l’autorisent, d’autres non.
Il est possible de gérer les deux avec des règles séparées. Vous pouvez par exemple rester fermé au robot d’entraînement et ouvert au robot de recherche. C’est une décision commerciale, sans bonne ni mauvaise réponse ; nous vous exposons clairement les options.
Le robots.txt se gère depuis le panneau. La règle prête laisse le site ouvert à tous les robots ; si vous le souhaitez, vous écrivez une règle personnalisée et vous autorisez ou interdisez certains robots. Une fois la modification enregistrée, la publication est mise à jour immédiatement.
L’adresse du sitemap figure aussi dans le même fichier. Nous avons aussi abordé ce sujet avec le côté SEO sur la page SEO.
Le robots.txt est une règle de courtoisie ; les robots la respectent, mais n’y sont pas obligés. Les grands robots respectueux la suivent, les malveillants peuvent l’ignorer. Un contenu qui doit vraiment être protégé se garde non avec le robots.txt, mais avec un mot de passe ou une protection du serveur.
De même, autoriser dans le robots.txt ne garantit pas d’apparaître dans les réponses ; cela ne fait qu’ouvrir la porte.
Certaines couches de protection et de sécurité considèrent les robots d’IA comme du « trafic automatisé » et les bloquent. Un réglage bien intentionné pour la sécurité du site peut fermer votre visibilité sans que vous le sachiez. Corriger le robots.txt sans le savoir ne sert à rien.
Pour contrôler les réglages côté infrastructure, nous faisons un test d’accès au début du travail de GEO.
Si vous voulez devenir une source dans les réponses, les robots de recherche et de réponse doivent pouvoir entrer sur votre site. Autoriser les robots d’entraînement est une décision distincte et commerciale.
Non. GPTBot est le robot qu’OpenAI utilise pour l’entraînement des modèles. OAI-SearchBot sert aux résultats de recherche de ChatGPT. Les noms peuvent changer ; pour les noms à jour, on consulte la documentation des entreprises.
Non. Le robots.txt est une règle destinée aux robots qui la respectent. Un contenu qui doit rester confidentiel se protège par un mot de passe ou une protection du serveur.
Oui. Vous utilisez la règle prête ou vous écrivez une règle personnalisée. Après enregistrement, la publication est mise à jour immédiatement.
Aucune garantie. L’autorisation ne fait qu’ouvrir la porte ; apparaître ou non dépend de la qualité, de l’actualité et de la cohérence du contenu.
Oui, certaines couches de protection anti-robots peuvent aussi bloquer les robots d’IA. Nous le contrôlons avec un test d’accès au début du travail de GEO.
Laissez votre numéro, nous vous rappelons. Nous trouvons ensemble la solution adaptée.
On vous rappelle
Türkçe
English
Deutsch
Français
Español