GPTBot, ClaudeBot, PerplexityBot : faut-il bloquer ou autoriser les robots IA ?

Les robots IA se rangent en trois familles. Ceux qui servent à la recherche (OAI-SearchBot pour ChatGPT, Claude-SearchBot, PerplexityBot) et ceux qu’un utilisateur envoie consulter une page sont à laisser entrer : les bloquer vous retire vous-même des réponses des IA. Ceux qui servent à l’entraînement des modèles (GPTBot, ClaudeBot, Google-Extended) relèvent d’un choix, et pour la plupart des PME, le plus utile est de les autoriser aussi.

Ce choix se règle dans un petit fichier de votre site, le robots.txt, et parfois chez votre hébergeur sans que vous le sachiez. Voici qui sont ces robots, ce que change chaque blocage, la décision adaptée à votre profil et des exemples de fichier prêts à copier.

Qu’est-ce qu’un robot IA ?

Imaginez trois visiteurs qui sonnent à la porte de votre entreprise. Le premier est un élève qui recopie vos brochures pour apprendre par cœur tout ce qui existe : c’est le robot d’entraînement. Le deuxième est l’inspecteur d’un guide, qui repère les bonnes adresses pour les recommander à ses lecteurs : c’est le robot de recherche. Le troisième est un coursier, envoyé par un client précis qui veut une information tout de suite : c’est l’agent utilisateur.

Les trois portent le même uniforme, « robot IA », mais ils ne viennent pas pour la même chose. Les traiter de la même façon est l’erreur la plus fréquente.

Pour les accueillir ou les refuser, votre site dispose d’un fichier, le robots.txt, placé à l’adresse votre-site.fr/robots.txt. C’est le règlement intérieur affiché à l’entrée : il dit, robot par robot, qui a le droit d’entrer et dans quelles pièces. Sa définition complète figure dans le glossaire du GEO.

Quels sont les robots IA à connaître en 2026 ?

Voici les principaux robots, classés par éditeur et par famille. Les noms sont ceux qu’il faut écrire dans votre robots.txt, tels que chaque éditeur les publie dans sa documentation.

Éditeur (assistant)	Entraînement	Recherche	À la demande d’un utilisateur
OpenAI (ChatGPT)	GPTBot	OAI-SearchBot	ChatGPT-User
Anthropic (Claude)	ClaudeBot	Claude-SearchBot	Claude-User
Perplexity	Aucun, selon l’éditeur	PerplexityBot	Perplexity-User
Google (Gemini, AI Overviews, AI Mode)	Google-Extended (consigne, pas un robot)	Googlebot	—
Microsoft (Copilot)	—	Bingbot	—
Apple (Siri, Spotlight, Safari)	Applebot-Extended (consigne, pas un robot)	Applebot	—
Meta (Meta AI)	Meta-ExternalAgent	Meta-WebIndexer	Meta-ExternalFetcher
Mistral (Vibe, anciennement Le Chat)	MistralAI-Training	MistralAI-Index	MistralAI-User
Common Crawl (base de données ouverte)	CCBot	—	—

Sources : documentation d’OpenAI, d’Anthropic, de Perplexity, de Google, d’Apple, de Meta, de Mistral et de Common Crawl, consultées en octobre 2026.

Quatre précisions pour lire ce tableau.

• Google et Apple n’ont pas de robot d’entraînement séparé. Leur robot habituel (Googlebot, Applebot) lit votre site une fois, puis une consigne à part, Google-Extended ou Applebot-Extended, dit si ce qu’il a lu peut servir à entraîner leurs modèles. Apple a confirmé en septembre 2026 que refuser Applebot-Extended n’a aucun effet sur son moteur de recherche (Apple, mise à jour signalée le 7 septembre 2026 par Search Engine Roundtable).
• Copilot passe par Bingbot. Bloquer Bingbot, c’est disparaître à la fois de Bing et de Copilot. Microsoft ne publie pas de robot d’entraînement distinct : depuis septembre 2023, il propose deux balises à placer dans le code des pages, NOCACHE et NOARCHIVE, qui limitent ou interdisent l’usage d’une page dans ses réponses d’IA et pour l’entraînement de ses modèles, sans effet sur les résultats de Bing (Search Engine Land, septembre 2023).
• OpenAI a ajouté un quatrième robot, OAI-AdsBot, qui ne visite que les pages de destination des publicités affichées dans ChatGPT. Il ne concerne que les annonceurs.
• Common Crawl n’est pas un assistant. C’est une association qui archive le Web et met ses copies à disposition de tous. Ses archives ont servi à entraîner de nombreux modèles d’IA : c’est une porte d’entrée indirecte vers l’entraînement.

Mistral mérite une mention pour un public français : son assistant, Vibe (anciennement Le Chat), a ses propres robots, avec la même séparation en trois familles que les acteurs américains.

Entraînement, recherche, agent : pourquoi la différence change tout ?

Le choix de bloquer ou non dépend entièrement de la famille du robot. Une IA dispose en effet de deux mémoires : ce qu’elle a appris pendant son entraînement, figé à une date donnée, et ce qu’elle va chercher sur le Web au moment de répondre. L’article pilier sur le GEO détaille ce mécanisme.

Les robots d’entraînement nourrissent la mémoire longue

GPTBot, ClaudeBot, MistralAI-Training ou Meta-ExternalAgent collectent des pages pour constituer les données d’entraînement des futurs modèles. Ce qu’ils lisent aujourd’hui finira, peut-être, dans la culture générale de l’IA des mois plus tard.

C’est l’élève de tout à l’heure, qui recopie les brochures. Il ne vous enverra aucun client demain matin. Mais le jour où l’on interrogera l’IA sans qu’elle fasse de recherche, c’est ce qu’il a appris qui parlera de vous, ou ne parlera pas de vous.

Les robots de recherche alimentent les réponses du jour

OAI-SearchBot, Claude-SearchBot, PerplexityBot ou MistralAI-Index construisent l’index de recherche de leur assistant : le catalogue de pages où l’IA va puiser au moment de répondre, avant de citer ses sources. Pour Gemini, les AI Overviews et l’AI Mode, ce rôle est tenu par Googlebot ; pour Copilot, par Bingbot.

Bloquer un de ces robots, c’est fermer la porte à l’inspecteur du guide Michelin, puis s’étonner de ne pas figurer dans le guide. OpenAI l’écrit sans détour : les sites qui refusent OAI-SearchBot « ne seront pas affichés dans les réponses de recherche de ChatGPT » (OpenAI). L’article sur la façon dont les IA choisissent leurs sources montre où chaque assistant fait son marché.

Les agents viennent à la demande d’un client

ChatGPT-User, Claude-User, Perplexity-User ou MistralAI-User ne parcourent pas le Web d’eux-mêmes. Ils se déplacent quand un utilisateur colle votre adresse dans la conversation, ou quand l’assistant décide d’ouvrir votre page pour répondre à une question précise. C’est le coursier : derrière lui, il y a un client réel, souvent en train de comparer des prestataires.

Point important : comme c’est un humain qui demande, plusieurs éditeurs considèrent que le robots.txt ne s’applique pas toujours à ces agents. OpenAI indique que les règles du robots.txt « peuvent ne pas s’appliquer » à ChatGPT-User, Perplexity écrit que son agent les « ignore généralement », Meta qu’il « peut les contourner ». Anthropic, à l’inverse, affirme que Claude-User les respecte.

Que se passe-t-il si vous bloquez les robots IA ?

Les conséquences d’un blocage sont décrites par les éditeurs eux-mêmes. Elles diffèrent du tout au tout selon la famille.

Si vous bloquez…	Conséquence annoncée par l’éditeur
OAI-SearchBot	Votre site n’apparaît plus dans les réponses de recherche de ChatGPT, sauf éventuellement comme simple lien de navigation
PerplexityBot	Votre site n’apparaît plus dans les résultats de Perplexity
Claude-SearchBot	Vos contenus ne sont plus indexés pour la recherche de Claude
Claude-User	Claude ne peut plus consulter vos pages quand un utilisateur le lui demande
GPTBot, ClaudeBot	Vos futurs contenus sont exclus de l’entraînement des modèles ; aucun effet annoncé sur la recherche
Google-Extended	Vos contenus ne servent plus à entraîner Gemini ni à ancrer les réponses de l’application Gemini ; aucun effet sur la recherche Google
Applebot-Extended	Vos contenus ne servent plus à entraîner les modèles d’Apple ; aucun effet sur la recherche d’Apple

Sources : documentation des éditeurs citée plus haut, consultée en octobre 2026.

Deux précisions comptent en pratique. D’abord, un changement n’est pas immédiat : OpenAI indique un délai d’environ 24 heures pour qu’une modification concernant OAI-SearchBot soit prise en compte. Ensuite, bloquer un robot d’entraînement ne fait rien oublier au modèle : le refus vaut pour les collectes futures, pas pour ce qui a déjà été appris. Anthropic parle explicitement des « futurs contenus » du site.

Faut-il bloquer les robots d’entraînement ? Le vrai débat

Pour les robots de recherche, la réponse est simple : non, sauf à vouloir disparaître des IA. Pour les robots d’entraînement, le débat est réel, et il mérite d’être posé honnêtement.

Les arguments pour bloquer l’entraînement

• Le principe. Vos textes, vos photos, votre savoir-faire servent à construire des produits vendus par d’autres, sans contrepartie. Beaucoup de médias et de créateurs refusent cet échange, et c’est un choix légitime.
• Le déséquilibre. Les robots IA lisent beaucoup et renvoient peu de visiteurs. Selon les données de Cloudflare Radar pour juillet 2026, les robots d’OpenAI parcouraient environ 250 pages pour chaque visiteur envoyé, et ceux d’Anthropic près de 1 900. Cloudflare précise que la mesure sous-estime les visites venues des applications mobiles.
• Le droit français vous le permet. Le Code de la propriété intellectuelle autorise la « fouille de textes et de données », c’est-à-dire l’analyse automatisée de contenus en ligne, sauf si l’auteur s’y est opposé « de manière appropriée, notamment par des procédés lisibles par machine » (article L. 122-5-3). Le robots.txt est l’un de ces procédés. Depuis le 2 août 2025, le règlement européen sur l’IA (AI Act) oblige les fournisseurs de grands modèles à respecter ces refus.

Les arguments pour laisser entrer l’entraînement

• Être connu du modèle a de la valeur. Quand un assistant répond sans faire de recherche, il puise dans sa mémoire. Une entreprise absente des données d’entraînement n’existe pas dans cette mémoire. Pour un artisan ou un cabinet, c’est un manque à gagner, pas une protection.
• Le blocage protège peu. Il ne vaut que pour l’avenir, il ne couvre que les robots que vous nommez, et vos informations circulent déjà ailleurs : annuaires, avis, réseaux sociaux, archives comme Common Crawl.
• Votre contenu n’est pas votre produit. Un plombier vend des interventions, pas des articles. Que l’IA ait « appris » ses horaires et sa zone d’intervention ne lui retire rien.

Où en sont les autres sites ?

Selon Cloudflare, en septembre 2026, 17 % des sites qui passent par ses services ont activé un blocage de l’entraînement des IA, et moins de 1 % bloquent les robots de recherche (Cloudflare, 15 septembre 2026). Autrement dit, la plupart des sites laissent faire, et presque personne ne ferme volontairement la porte aux robots de recherche.

Ma recommandation

Pour une PME qui vend un service ou un produit, la recommandation par défaut est de tout autoriser, entraînement compris. Le gain de visibilité dépasse la protection, qui reste théorique. Le blocage de l’entraînement se justifie quand votre contenu est votre produit : un média, un formateur qui vend ses cours, un photographe, un éditeur de guides.

Ma position est nette. Pour une entreprise qui vend son savoir-faire et non ses textes, fermer la porte aux robots d’entraînement revient à refuser qu’on parle de vous, de peur qu’on vous cite mal. Je préfère qu’une IA connaisse votre nom, votre ville et votre métier, quitte à vérifier ensuite qu’elle les décrit correctement, plutôt qu’elle ignore jusqu’à votre existence. Le jour où vos contenus deviennent eux-mêmes ce que vous vendez, la question se pose autrement, et je suis le premier à conseiller de bloquer l’entraînement.

Quelle décision selon le profil de votre entreprise ?

Le bon réglage dépend de ce que vous vendez et de la valeur de vos contenus. Ce tableau donne une décision par défaut pour les profils les plus courants.

Votre profil	Robots de recherche et agents	Robots d’entraînement	Point d’attention
Artisan, commerce local, restaurant	Autoriser	Autoriser	Vérifier qu’aucun réglage d’hébergeur ne bloque par défaut
PME de services, cabinet, B2B	Autoriser	Autoriser (recommandé)	Les fiches techniques et études de cas sont votre meilleure vitrine dans les IA
E-commerce	Autoriser	Autoriser	Les agents d’achat arrivent : bloquer les agents, c’est fermer la boutique à certains clients
Média, formateur, créateur, éditeur de contenus payants	Autoriser	Bloquer, si vous le souhaitez	Garder la recherche ouverte pour rester cité, avec un lien vers vous
Site avec espace client ou extranet	Autoriser sur les pages publiques	Selon le profil ci-dessus	Bloquer les zones privées pour tous les robots, pas seulement ceux des IA

Prenez Électricité Morel, un électricien d’Angers. Ses pages décrivent ses services, sa zone d’intervention et ses délais. Qu’un modèle les apprenne ne lui coûte rien ; qu’un assistant ne puisse pas les lire au moment où un habitant d’Angers cherche « un électricien disponible cette semaine », lui coûte des chantiers. Il laisse tout ouvert.

Le cas des agents d’achat, ces IA qui comparent et commandent à la place du client, sera traité dans l’article agents IA et commerce agentique.

Et Google dans tout ça ?

Google est un cas à part, parce que le même robot, Googlebot, sert à la fois la recherche classique, les AI Overviews et l’AI Mode. Bloquer Googlebot, c’est disparaître de Google tout court : personne ne doit le faire.

Pour le reste, deux réglages distincts existent, et il ne faut pas les confondre.

• Google-Extended, à écrire dans le robots.txt, refuse que vos contenus servent à entraîner les modèles Gemini et à ancrer les réponses de l’application Gemini. Google précise qu’il n’a aucun effet sur votre présence dans la recherche ni sur votre classement (Google Search Central). Il ne vous retire pas non plus des AI Overviews.
• Le réglage « IA générative dans la Recherche » de Search Console, disponible pour tous les sites du monde depuis le 31 août 2026, retire votre site des AI Overviews, de l’AI Mode et des fonctionnalités d’IA de Discover, sans toucher aux résultats classiques. L’exclusion prend en général un à deux jours (aide de Search Console).

Ce second réglage a été pensé pour les grands éditeurs de presse, qui estiment que les résumés de Google leur prennent des lecteurs. Pour une PME, l’activer revient à renoncer à la place la plus visible de la page de résultats. Je le déconseille, sauf cas très particulier. L’article sur l’impact des AI Overviews sur le trafic aide à mesurer ce que vous y gagnez réellement.

Les blocages que personne n’a décidés

Le plus souvent, un site qui bloque les robots IA ne l’a jamais décidé. Le blocage vient d’un réglage par défaut, d’une extension ou d’une erreur, et le dirigeant l’ignore. C’est l’une des causes décrites dans pourquoi votre entreprise est peut-être invisible pour les IA.

Cloudflare, le service de sécurité et de rapidité qui protège une grande partie du Web, s’est mis à bloquer par défaut les robots d’IA sur les nouveaux sites en juillet 2025. Ses réglages ont changé en 2026 :

• depuis le 1er juillet 2026, chaque client peut régler séparément trois catégories : recherche, agent et entraînement ;
• depuis le 15 septembre 2026, les réglages par défaut des nouveaux domaines dépendent de la publicité. Un site sans publicité laisse tout passer. Un site qui affiche des publicités refuse l’entraînement par une consigne dans son robots.txt, bloque les agents sur ses pages avec publicité et laisse passer la recherche (Cloudflare, 15 septembre 2026).

Le piège est ailleurs. Les robots « mixtes », qui servent à la fois la recherche et l’entraînement, comme Googlebot, Bingbot ou Applebot, peuvent être bloqués quand on bloque l’entraînement. En août 2026, des propriétaires de sites ont constaté que Googlebot et Bingbot recevaient des refus d’accès après l’activation du blocage de l’entraînement (Search Engine Journal, août 2026). Le 15 septembre 2026, Cloudflare a ajouté un réglage, « Disallow AI Training », qui refuse l’entraînement tout en laissant passer pour la recherche les robots mixtes qu’il juge transparents, ceux de Google, Microsoft et Apple. Les anciens choix de blocage de l’entraînement ont été convertis vers ce réglage (Cloudflare, 15 septembre 2026). Mais les deux options de blocage restent disponibles, et elles bloquent toujours ces robots, donc la recherche avec : « Block » sur tout le site, « Block on pages with ads » sur les pages avec publicité. Si vous voulez refuser l’entraînement chez Cloudflare, choisissez « Disallow AI Training », jamais un blocage.

Les autres coupables fréquents :

• une extension de sécurité WordPress qui ajoute une liste de « mauvais robots » où figurent des robots IA ;
• un hébergeur qui filtre certains robots pour économiser ses serveurs ;
• un robots.txt de préproduction resté en place après la mise en ligne, avec la ligne « Disallow: / » qui interdit tout le site à tous les robots ;
• un modèle de robots.txt copié sur Internet, qui bloquait « tous les robots IA » sans distinguer les familles.

Prenons un exemple fictif, à titre d’illustration. Un traiteur lillois fait refaire son site par une agence. Quelques mois plus tard, il constate que ChatGPT et Perplexity citent ses concurrents quand on leur demande « un traiteur pour un mariage à Lille », jamais lui. En ouvrant son robots.txt, son prestataire trouve un bloc copié d’un modèle trouvé en ligne : OAI-SearchBot et PerplexityBot y sont suivis de « Disallow: / ». Personne ne l’avait décidé. La correction prend cinq minutes. Elle ne garantit pas d’être cité, mais elle rouvre une porte que le traiteur s’était fermée sans le savoir.

Le robots.txt suffit-il à protéger vos contenus ?

Non. Le robots.txt est un panneau, pas un vigile. Il indique le règlement aux visiteurs qui acceptent de le lire. Les grands éditeurs d’IA déclarent le respecter pour leurs robots d’entraînement et de recherche, mais rien ne les y oblige techniquement.

L’exemple le plus connu concerne Perplexity. En août 2025, Cloudflare a accusé l’entreprise d’utiliser des robots non déclarés, qui se faisaient passer pour un navigateur ordinaire afin de contourner les refus, sur des dizaines de milliers de sites (Cloudflare, août 2025). Perplexity a répondu que ses visites sont déclenchées par les questions des utilisateurs, comme celles d’un assistant, et non par une collecte faite à l’avance (RightsTech, août 2025). Le débat n’est pas tranché. S’ajoutent les agents utilisateurs, qui ne suivent pas toujours le robots.txt, et les faux robots, qui empruntent le nom de GPTBot ou de CCBot.

Si vous voulez réellement empêcher l’accès, il faut un vigile : un pare-feu qui vérifie l’identité des robots, par exemple à partir des listes d’adresses IP que publient OpenAI ou Common Crawl. C’est le rôle de services comme Cloudflare. Pour la plupart des PME, ce niveau de protection n’est pas nécessaire : leur enjeu est d’être lues, pas d’être protégées.

Exemples de robots.txt prêts à l’emploi

Voici deux fichiers types. Remplacez l’adresse du plan du site (sitemap) par la vôtre, et faites relire le fichier par votre prestataire avant de le mettre en ligne : une erreur dans ce fichier peut vous retirer de Google.

Version recommandée pour la plupart des PME : portes ouvertes

« ` # Tous les robots sont les bienvenus, sauf dans l’administration du site User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.votre-site.fr/sitemap_index.xml « `

Aucun robot IA n’est nommé, et c’est voulu : sans consigne particulière, tous les robots ont accès aux pages publiques. Les deux lignes sur /wp-admin/ correspondent au fichier par défaut d’un site WordPress.

Version « recherche oui, entraînement non »

« ` # Règle générale : accès libre, sauf l’administration User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php

# Robots et consignes d’entraînement : refusés User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: Meta-ExternalAgent User-agent: MistralAI-Training User-agent: CCBot Disallow: /

Sitemap: https://www.votre-site.fr/sitemap_index.xml « `

Les robots de recherche (OAI-SearchBot, Claude-SearchBot, PerplexityBot, MistralAI-Index, Googlebot, Bingbot) ne sont pas nommés : ils suivent la règle générale et restent les bienvenus.

Les erreurs à éviter

• Écrire « User-agent: * » suivi de « Disallow: / ». Cette paire de lignes interdit tout le site à tous les robots, Google compris.
• Bloquer OAI-SearchBot en pensant bloquer l’entraînement. C’est GPTBot qui entraîne ; OAI-SearchBot vous fait apparaître dans ChatGPT.
• Bloquer Googlebot pour échapper aux AI Overviews. Vous disparaîtriez de Google entièrement. Le bon outil est le réglage de Search Console décrit plus haut.
• Mal orthographier un nom. « GPT-Bot » ou « Claudebot-Search » ne correspondent à aucun robot : la règle est simplement ignorée.

Comment vérifier en 5 minutes que vos portes sont ouvertes ?

1. Ouvrez votre robots.txt à l’adresse votre-site.fr/robots.txt. Cherchez les noms OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot et Bingbot. S’ils sont suivis de « Disallow: / », vous êtes invisible pour l’assistant concerné.
2. Cherchez la ligne « Disallow: / » sous « User-agent: * ». Si elle y est, tout le site est fermé à tous les robots.
3. Demandez à votre prestataire ou à votre hébergeur si un pare-feu, Cloudflare ou une extension de sécurité filtre les robots d’IA, et dans quelles catégories. Ce blocage n’apparaît pas dans le robots.txt.
4. Consultez le rapport robots.txt de Google Search Console, qui affiche la version du fichier lue par Google et signale les erreurs.

Une fois les portes ouvertes, reste à savoir si les IA vous citent. Le test manuel en 10 minutes vous donne une première réponse. La différence entre ce fichier et le llms.txt, souvent confondus, est expliquée dans le fichier llms.txt : vraie utilité ou gadget ?

Questions fréquentes sur les robots IA