« Alexandre, comment fonctionnent les Crawlers IA, leurs user-agents et le robots.txt ? »

Eh bien, justement : chaque agent possède sa propre fonction.

Les principaux éditeurs d’IA en utilisent plusieurs. Et chacun a son métier.

Ça ressemble à un détail technique. Pourtant, le choix du bon user-agent change complètement la configuration.

Une mauvaise directive dans le robots.txt peut écarter un site des réponses générées tout en laissant ses contenus accessibles pour l’entraînement.

Le réglage produit alors exactement l’effet inverse de celui recherché.

• Un crawler collecte du contenu pour l’entraînement des modèles
• Un autre indexe les pages utilisées pendant une recherche
• Un troisième intervient lorsqu’un utilisateur demande directement à son assistant de consulter une URL

01Pourquoi chaque éditeur a-t-il plusieurs crawlers ?

Parce que derrière le mot « crawler », je retrouve en réalité trois usages très différents.

Et quand on les mélange, les erreurs arrivent vite.

• L’entraînement consiste à collecter du contenu pour alimenter les futures versions du modèle
• L’indexation de recherche alimente un index interrogé en temps réel
• La récupération déclenchée par l’utilisateur intervient lorsqu’un humain demande à son assistant de consulter une page précise

Commençons par l’entraînement.

Le robot collecte du contenu aujourd’hui pour nourrir les futures versions du modèle.

Une page récupérée en 2026 peut donc influencer une réponse générée bien plus tard, avec une citation qui dépendra alors d’un autre mécanisme.

L’indexation de recherche fonctionne différemment.

Le crawler alimente un index que l’assistant interroge au moment où l’utilisateur formule sa question. C’est ce système qui permet ensuite d’afficher des liens sources sous une réponse.

Dernier cas : la récupération déclenchée par l’utilisateur.

Quelqu’un colle votre URL dans une conversation. Ou demande directement à son assistant de lire une page précise. L’IA vient alors récupérer le contenu à la demande.

L’action vient d’un humain. Le statut technique et juridique de la requête change donc avec elle.

La conséquence devient assez simple à comprendre : un site peut bloquer le crawler d’entraînement tout en conservant sa visibilité dans les réponses avec recherche.

L’inverse existe également.

D’où l’intérêt de lire les Crawlers IA séparément.

02Les Crawlers IA d’OpenAI

Chez OpenAI, la séparation est particulièrement nette.

OpenAI documente quatre agents distincts.

Le tableau donne déjà une bonne vue d’ensemble.

Mais trois détails techniques méritent vraiment qu’on s’y arrête.

• OpenAI publie ses plages d’IP dans des fichiers JSON dédiés
• Une mention robots.txt apparaît dans le user-agent lors de la récupération de ce fichier
• Une modification demande environ 24 heures pour se propager côté recherche OpenAI

Le premier point est particulièrement utile.

Un user-agent se copie très facilement. Un script peut envoyer une requête en se présentant comme GPTBot.

Pour vérifier sérieusement l’identité du crawler, je regarde donc son adresse IP plutôt que la simple chaîne déclarée.

OpenAI publie justement des fichiers dédiés comme searchbot.json ou gptbot.json.

La mention robots.txt facilite ensuite la lecture des logs. Elle permet d’identifier la requête effectuée spécialement pour récupérer ce fichier.

Quant au délai de propagation, je garde environ 24 heures en tête après chaque modification côté recherche OpenAI.

03Les Crawlers IA d’Anthropic

Chez Anthropic, je retrouve la même logique en trois catégories.

Jusque-là, ça ressemble beaucoup à OpenAI.

Puis arrive Claude-User. Et là, petite différence : Claude-User respecte le robots.txt.

Anthropic adopte ici une approche plus stricte que plusieurs concurrents.

• Claude-User applique les directives du robots.txt
• ChatGPT-User peut être traité différemment lorsque l’action vient directement d’un humain
• Perplexity-User suit une logique comparable à celle d’OpenAI

Autre particularité : Anthropic publie zéro plage d’IP dédiée à ses crawlers.

L’entreprise déconseille d’ailleurs le blocage par IP.

Ses robots utilisent des infrastructures cloud partagées. Une adresse associée aujourd’hui à Claude peut appartenir demain à un autre service.

Anthropic prend en revanche en charge la directive Crawl-delay.

04Les Crawlers IA de Perplexity

Perplexity fait plus simple.

Deux agents concentrent ici l’essentiel du fonctionnement.

Perplexity publie également des plages d’IP permettant de vérifier l’identité de ses robots.

Je peux donc croiser deux informations :

• Le user-agent déclaré
• L’adresse IP réellement utilisée

Et pour tester la visibilité d’une page dans les IA, j’aime bien Perplexity.

Pourquoi ? Parce que le moteur affiche ses sources de manière très visible.

Je pose une question, je regarde les citations, et je vois rapidement si ma page apparaît dans le circuit.

C’est assez confortable pour vérifier qu’un contenu reste accessible et extractible.

05Les Crawlers IA de Google

Chez Google, une confusion revient souvent.

Googlebot et Google-Extended remplissent deux fonctions très différentes.

Le point qui change toute la lecture du sujet tient en une phrase : Google utilise son index Search pour ses fonctionnalités génératives.

Les Aperçus IA et le Mode IA reposent donc sur l’index de recherche et sur les mêmes grands systèmes de classement.

Bloquer Googlebot pour quitter les Aperçus IA entraîne alors une conséquence bien plus large : le site sort aussi de Google Search.

Oui, l’effet est radical.

Google documente le fonctionnement de ses fonctionnalités génératives dans Search.

06Et les autres ?

OpenAI, Anthropic, Perplexity et Google concentrent une grosse partie de l’attention.

Mais la liste continue.

• Bingbot pour Microsoft Copilot
• Applebot-Extended pour l’entraînement Apple
• Meta-ExternalAgent pour Meta
• CCBot pour Common Crawl

Common Crawl mérite d’ailleurs un petit arrêt.

Ses archives ont historiquement servi de base à de nombreux corpus d’entraînement. Y compris chez des acteurs disposant ensuite de leurs propres crawlers.

Autoriser CCBot, c’est donc potentiellement laisser son contenu entrer indirectement dans de nombreux corpus externes.

07Que se passe-t-il vraiment quand on bloque ?

Bon. Venons-en à la question qui m’intéresse vraiment lorsque j’ouvre un robots.txt : qu’est-ce que je perds en bloquant tel ou tel agent ?

Parce qu’un Disallow paraît anodin. Une ligne, deux-points, un slash… et derrière, l’effet varie complètement selon le crawler concerné.

Voilà pourquoi je sépare toujours trois décisions :

• La recherche
• L’entraînement
• La récupération utilisateur

Mettre tous les Crawlers IA dans le même bloc revient à traiter trois sujets différents avec une seule règle.

08Faut-il autoriser l’entraînement ?

C’est ici que le sujet devient beaucoup plus stratégique.

Et la décision dépend entièrement du modèle économique.

Le cas d’un éditeur de presse

Son contenu constitue directement son produit.

Le laisser entrer gratuitement dans un modèle capable ensuite d’en restituer les informations hors clic et hors rémunération crée un transfert de valeur net.

En France, la loi de 2019 sur les droits voisins ajoute un cadre de négociation collective.

L’arbitrage devient donc à la fois :

• Technique
• Juridique
• Contractuel

Dans ce contexte, le blocage constitue souvent une position de départ rationnelle.

Le cas d’une marque qui vend un produit ou un service

Là, le raisonnement change complètement.

Le contenu sert à faire connaître l’entreprise et ses solutions.

Bloquer l’entraînement peut aussi éloigner la marque de la couche qui influence les entreprises spontanément citées par le modèle, avant même le déclenchement d’une recherche.

Une hypothèse testée sur plus de 360 000 réponses décrit justement ce mécanisme.

• Le modèle sélectionnerait d’abord les marques qu’il associe naturellement à une recommandation
• Il chercherait ensuite des sources capables d’étayer cette sélection

J’aime bien cette manière de regarder le fonctionnement.

La citation devient alors la bibliographie. La sélection de la marque intervient plus tôt.

Si cette lecture se confirme, bloquer l’entraînement peut donc éloigner une marque de cette première phase de sélection.

Le cas d’un site à contenu premium ou payant

Ici, une position intermédiaire revient souvent.

• Les crawlers de recherche accèdent aux pages publiques
• Les crawlers d’entraînement restent fermés
• Les espaces payants restent exclus de l’ensemble des agents

Et quelle que soit la décision, je la documente.

Parce qu’en audit, je rencontre régulièrement la même situation : une directive a été ajoutée des mois plus tôt, puis oubliée.

Plus personne ne sait qui l’a écrite. Encore moins pourquoi.

J’ai détaillé cet arbitrage, cas par cas, dans faut-il bloquer GPTBot.

09Un robots.txt modèle

Voici une configuration adaptée à une marque qui recherche de la visibilité et accepte l’entraînement.

Le bloc consacré à l’entraînement reste à adapter selon l’arbitrage précédent.

# --- Recherche IA : autoriser ---
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# --- Récupération déclenchée par l'utilisateur ---
User-agent: ChatGPT-User
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Perplexity-User
Allow: /

# --- Entraînement : décision stratégique ---
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

# --- Zones à exclure de tous les agents ---
User-agent: *
Disallow: /admin/
Disallow: /panier/
Disallow: /compte/
Disallow: /*?filtre=

Sitemap: https://votresite.fr/sitemap.xml

Trois précautions méritent d’être gardées sous la main.

• Allow: / sert surtout à documenter la décision. Un agent absent d’un bloc spécifique dispose déjà d’un accès par défaut
• L’ordre et la spécificité comptent. Une organisation lisible réduit les erreurs humaines lorsque plusieurs règles cohabitent
• Testez après le déploiement. Côté OpenAI, la propagation demande environ 24 heures

Sur WordPress, ce fichier se règle depuis l’extension SEO, sans toucher au serveur. Je montre où dans GEO sur WordPress.

Et le llms.txt, censé guider les IA ? Mon avis, plutôt réservé, est dans le fichier llms.txt.

10Comment vérifier qu’un bot est bien celui qu’il prétend être ?

Le user-agent me donne une indication.

Je le considère surtout comme une déclaration.

Un script peut écrire GPTBot dans son en-tête et tenter de se faire passer pour lui. Des aspirateurs de contenu utilisent justement ce type de technique pour contourner certaines protections.

Du coup, je vérifie.

• Je récupère les plages d’IP officielles publiées par OpenAI et Perplexity dans leurs fichiers JSON
• Je croise l’adresse IP de la requête avec ces plages
• Pour Anthropic, j’utilise une résolution DNS inverse suivie d’une résolution directe
• Je journalise le user-agent, l’IP, le code de réponse et l’URL consultée

Les logs deviennent ici très intéressants.

Ils permettent de voir :

• Quel crawler vient sur le site
• Quelle page il consulte
• À quelle fréquence il revient
• Quel code HTTP lui est renvoyé

Une commande permet déjà d’obtenir un diagnostic rapide dans les logs serveur :

# Quels bots IA passent, et avec quels codes de réponse ?
grep -E "GPTBot|OAI-SearchBot|ChatGPT-User|ClaudeBot|Claude-User|Claude-SearchBot|PerplexityBot|Google-Extended" access.log \
  | awk '{print $9}' | sort | uniq -c | sort -rn

Et là, un détail me saute souvent aux yeux : les 403 et les 429.

Quand ces codes apparaissent, le refus vient souvent du pare-feu applicatif ou d’une limitation de débit.

Le robots.txt autorise donc le crawler… tandis qu’une autre couche technique lui ferme la porte.

C’est discret. Et très fréquent.

La méthode complète, commandes comprises, est dans l’analyse de logs.

11Comment vérifier que la configuration fonctionne ?

Une fois le robots.txt configuré, j’utilise quatre contrôles.

• Le rendu HTML
• Le test en conditions réelles
• Les logs serveur
• Bing Webmaster Tools

1. Le test de rendu

Je vérifie que le contenu susceptible d’être cité apparaît directement dans le HTML initial.

Les Crawlers IA rendent JavaScript avec beaucoup moins d’efficacité que Googlebot lorsqu’un rendu devient nécessaire.

Je peux commencer avec une commande toute simple :

curl -sL -A "OAI-SearchBot" https://votresite.fr/page | grep -i "votre phrase de réponse"

La phrase apparaît ? Très bien. Le crawler reçoit ce contenu.

2. Le test en conditions réelles

Je pose à Perplexity une question à laquelle ma page répond directement.

Puis je regarde les sources citées.

Son indexation rapide et l’affichage très visible des citations rendent ce contrôle particulièrement pratique.

3. Les logs

Je regarde la fréquence de passage de chaque agent et les pages qu’il visite en priorité.

C’est le seul signal propriétaire montrant directement ce que les plateformes viennent consulter sur mon site.

4. Bing Webmaster Tools

Son rapport AI Performance affiche les citations réelles d’un contenu : combien de fois une page a servi de source dans une réponse générée.

Je peux aussi y retrouver les pages citées, l’évolution des citations et certaines grounding queries.

Pour suivre les citations, c’est aujourd’hui l’une des données officielles les plus directement exploitables.

Si votre contenu n’apparaît pas dans le HTML initial, la cause est souvent le JavaScript : je l’explique dans SEO JavaScript. Côté Bing, activez IndexNow pour signaler vos mises à jour sans attendre.

Enfin, pour aider les robots à comprendre qui vous êtes, complétez vos données structurées.

12Sources

• OpenAI, Overview of OpenAI Crawlers, documentation développeurs
• Anthropic, documentation consacrée à ClaudeBot, Claude-User et Claude-SearchBot, février 2026 — voir la couverture de Search Engine Land
• Google Search Central, Optimizing your website for generative AI features on Google Search, mai 2026, mise à jour le 10 juillet 2026
• Ahrefs, 97 % des fichiers llms.txt ne sont jamais lus, juin 2026
• Seer Interactive, What Drives Brand Mentions in AI Answers?, octobre 2025, sur plus de 360 000 réponses
• Microsoft Bing Webmaster Blog, Introducing AI Performance in Bing Webmaster Tools, 10 février 2026