« Alexandre, comment savoir si GPTBot, ClaudeBot et PerplexityBot passent sur mon site ? »

Mis à jour le 22 octobre 2026

Vous avez réglé votre robots.txt, vous avez vérifié que votre contenu n’est pas caché derrière du JavaScript, vous avez peut-être créé un fichier llms.txt. Mais une question reste sans réponse : les robots des IA passent-ils vraiment sur votre site ?

Les outils de statistiques classiques, comme Google Analytics, ne répondent pas à cette question. Ils mesurent les visiteurs humains qui exécutent un script de suivi. Les robots, eux, n’exécutent généralement pas ces scripts : ils sont invisibles dans vos tableaux de bord habituels.

Cette page fait partie de mon dossier sur le robots.txt pour les IA. Elle explique comment faire une analyse de logs orientée IA : où trouver les fichiers, comment reconnaître chaque robot, comment éviter les imposteurs, et quoi faire des résultats.

Par Alexandre Montenon, consultant SEO et GEO à Lyon

Les logs serveur, c’est quoi ?

Chaque fois qu’un navigateur ou un robot demande une ressource à votre serveur (une page, une image, un fichier), le serveur note la demande dans un fichier journal, le « log d’accès ». Chaque ligne contient en général :

➭ l’adresse IP du visiteur ;

➭ la date et l’heure de la demande ;

➭ la ressource demandée (l’adresse de la page) ;

➭ le code de réponse (200 si tout va bien, 301 pour une redirection, 404 si la page n’existe pas, 403 si l’accès est refusé, 500 en cas d’erreur serveur) ;

➭ le user-agent, c’est-à-dire le nom que se donne le visiteur : un navigateur, ou un robot comme GPTBot.

Contrairement aux outils de statistiques, les logs voient tout : les humains, les robots des moteurs de recherche, les robots d’IA, les outils de surveillance, et aussi les robots malveillants.

Où trouver ses logs

Chez un hébergeur mutualisé

La plupart des hébergeurs proposent un accès aux logs dans leur espace client : rubrique « Statistiques », « Logs » ou « Journaux ». Ils sont parfois conservés quelques jours seulement : téléchargez-les régulièrement si vous voulez un historique.

Sur un serveur dédié ou un VPS

Les logs se trouvent dans les dossiers du serveur web (Apache ou Nginx). Votre prestataire technique sait où les récupérer.

Derrière un CDN

Si votre site passe par Cloudflare ou un autre réseau de diffusion, une partie des visites est servie par le CDN sans atteindre votre serveur. Il faut alors consulter les journaux ou les tableaux de bord du CDN, qui proposent souvent une vue dédiée aux robots, y compris ceux des IA.

Reconnaître les robots des IA

Chaque éditeur documente ses robots. Voici les principaux à rechercher dans le champ user-agent de vos logs.

OpenAI publie par exemple le format exact de ses user-agents, comme « GPTBot/1.4 » ou « OAI-SearchBot/1.4 », et précise que les adresses IP de chacun de ses robots sont publiées dans des fichiers dédiés, et qu’un changement de robots.txt peut prendre environ 24 heures pour être pris en compte par la recherche.

Anthropic, de son côté, distingue trois robots et indique que ClaudeBot collecte des contenus pouvant servir à l’entraînement, Claude-User visite des sites à la demande des utilisateurs et Claude-SearchBot sert à améliorer la qualité des résultats de recherche, tous respectant les directives du robots.txt.

Démasquer les faux robots

N’importe qui peut écrire « GPTBot » ou « Googlebot » dans son user-agent. Des robots de scraping se font souvent passer pour des robots connus, justement pour ne pas être bloqués. Avant de tirer des conclusions, il faut vérifier l’authenticité des visites.

Pour Google : le DNS inversé

Google documente une méthode en deux temps : faire une recherche DNS inversée sur l’adresse IP, vérifier que le nom obtenu appartient à googlebot.com, google.com ou googleusercontent.com, puis faire une recherche DNS directe pour confirmer que ce nom renvoie bien à la même adresse. Google publie aussi des fichiers JSON avec les plages d’adresses de ses robots.

Pour OpenAI et les autres : les plages d’adresses

OpenAI publie un fichier par robot avec ses plages d’adresses IP. Il suffit de vérifier que l’adresse de la visite appartient à la plage du robot qu’elle prétend être. La plupart des outils d’analyse de logs savent faire cette vérification automatiquement.

Ce qu’il faut chercher dans les logs

1. Les robots passent-ils ?

Première question, la plus simple : trouvez-vous des visites authentiques d’OAI-SearchBot, de Claude-SearchBot, de PerplexityBot, de Googlebot et de Bingbot ? Si un robot de recherche est totalement absent alors qu’il devrait passer, cherchez un blocage : robots.txt, pare-feu, réglage du CDN, extension de sécurité.

2. Quelles pages lisent-ils ?

Les robots passent-ils sur vos pages importantes (services, tarifs, produits, guides de fond) ou seulement sur la page d’accueil et quelques anciens articles ? Une page jamais visitée par un robot a peu de chances d’être citée.

3. Quels codes de réponse reçoivent-ils ?

Un robot qui reçoit des erreurs 403 (accès refusé) est probablement bloqué par une protection. Des 404 en série signalent des liens cassés ou d’anciennes adresses. Des 500 indiquent un serveur qui peine. Des chaînes de redirections font perdre du temps et des visites.

4. À quelle fréquence ?

Une page modifiée qui n’est pas revisitée pendant des semaines restera décrite dans son ancienne version. C’est là qu’IndexNow, côté Bing, et une bonne organisation des liens internes aident à accélérer les passages.

5. Les visites déclenchées par les utilisateurs

ChatGPT-User, Claude-User et Perplexity-User visitent une page parce qu’un utilisateur a posé une question qui la concerne. Ces visites sont précieuses : elles montrent quelles pages sont consultées par les assistants pour répondre à de vraies questions.

Exemple de lecture d’une analyse

Pour rendre les choses concrètes, imaginons le cas fictif d’un cabinet d’avocats lyonnais qui analyse un mois de logs.

Premier constat : Googlebot et Bingbot passent tous les jours, sans erreur. Rien à signaler côté moteurs classiques.

Deuxième constat : aucune visite authentique d’OAI-SearchBot, mais une centaine de réponses 403 pour des adresses appartenant bien aux plages d’OpenAI. Le pare-feu de l’hébergeur bloque le robot. Une règle d’autorisation corrige le problème en quelques minutes.

Troisième constat : PerplexityBot visite surtout de vieux articles de blog, jamais la page « Droit du travail pour les employeurs », pourtant la plus importante commercialement. En cause, une page trop profonde dans l’arborescence et peu reliée au reste du site. On ajoute des liens depuis l’accueil et les articles proches.

Quatrième constat : quelques visites de ChatGPT-User sur la page des honoraires. Des utilisateurs ont donc posé des questions qui ont conduit ChatGPT à consulter cette page. On vérifie qu’elle est claire, à jour et que les informations essentielles sont en début de page.

En une analyse, le cabinet a corrigé un blocage invisible, renforcé une page stratégique et repéré la page que les assistants consultent. C’est exactement ce qu’on attend de ce travail.

Les outils pour analyser ses logs

Pour un petit site, un tableur suffit pour une première analyse : on importe le fichier, on filtre la colonne user-agent sur les noms des robots, et on compte. Pour aller plus loin, plusieurs familles d’outils existent.

➭ Les analyseurs de logs SEO, logiciels ou services en ligne, qui reconnaissent les robots, vérifient leur authenticité et produisent des graphiques par robot, par page et par code de réponse.

➭ Les tableaux de bord des CDN, qui proposent désormais souvent une vue dédiée aux robots d’IA.

➭ Les outils de suivi de visibilité IA, dont certains se connectent à votre hébergement ou à votre CDN pour suivre les visites des robots d’IA en continu.

➭ Les scripts sur mesure, pour les équipes techniques qui veulent intégrer ces données à leurs propres tableaux de bord.

Relier l’analyse de logs au reste du travail technique

L’analyse de logs est l’outil de vérification de tout le reste. Elle confirme que vos réglages d’accès fonctionnent, que les robots trouvent vos pages et que votre contenu est servi correctement. Si les robots d’IA passent mais que vos pages restent vides pour eux, le problème est probablement lié au rendu : je l’explique dans ma page sur le SEO JavaScript. Et si les robots tardent à revenir après une mise à jour, IndexNow permet de prévenir Bing et les moteurs participants en temps réel.

Questions fréquentes sur l’analyse de logs