GPTBot, ClaudeBot, PerplexityBot : quels robots IA autoriser dans votre robots.txt ?
Pour rester visible dans les réponses des IA, autorisez au minimum les robots de recherche et de consultation : OAI-SearchBot et ChatGPT-User (OpenAI), Claude-SearchBot et Claude-User (Anthropic), PerplexityBot et Perplexity-User, ainsi que Googlebot. Les robots d'entraînement (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot) peuvent être bloqués séparément si vous ne souhaitez pas que vos contenus servent à entraîner des modèles.
- ✓Chaque éditeur distingue robots d’entraînement et robots de recherche.
- ✓Bloquer un robot de recherche vous retire des réponses de cette IA.
- ✓Google-Extended ne concerne pas les AI Overviews, qui passent par Googlebot.
- ✓Vérifiez aussi votre pare-feu ou CDN, qui peut bloquer les robots IA.
Les principaux robots IA
| Robot | Éditeur | Rôle |
|---|---|---|
| OAI-SearchBot | OpenAI | Indexation pour ChatGPT Search |
| ChatGPT-User | OpenAI | Consultation à la demande d’un utilisateur |
| GPTBot | OpenAI | Collecte pour l’entraînement |
| Claude-SearchBot | Anthropic | Indexation pour la recherche de Claude |
| Claude-User | Anthropic | Consultation à la demande d’un utilisateur |
| ClaudeBot | Anthropic | Collecte pour l’entraînement |
| PerplexityBot | Perplexity | Indexation pour les réponses Perplexity |
| Perplexity-User | Perplexity | Consultation à la demande d’un utilisateur |
| Googlebot | Recherche Google, y compris AI Overviews | |
| Google-Extended | Usage pour Gemini et l’entraînement (jeton robots.txt) | |
| Applebot-Extended | Apple | Usage pour l’entraînement d’Apple Intelligence |
| CCBot | Common Crawl | Corpus ouvert utilisé pour entraîner de nombreux modèles |
Les noms et rôles évoluent : vérifiez la documentation de chaque éditeur avant de modifier votre fichier.
Exemple de robots.txt « visible dans les IA »
Ce fichier autorise tous les robots, en le rendant explicite pour les robots IA :
User-agent: *
Allow: /
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
Allow: /
Sitemap: https://www.votre-site.fr/sitemap.xmlPour refuser l'entraînement tout en restant cité, remplacez par un groupe Disallow: / ciblant uniquement GPTBot, ClaudeBot, Google-Extended, Applebot-Extended et CCBot.
Le piège du pare-feu
Un robots.txt parfait ne sert à rien si votre hébergeur ou votre CDN bloque les robots en amont. Plusieurs services proposent des options de blocage des « bots IA » activables en un clic. Vérifiez ces réglages et les journaux du serveur : les requêtes de ces robots doivent recevoir une réponse 200.
L'accès des robots est le premier point contrôlé dans nos audits GEO.
FAQ
Bloquer Google-Extended me retire-t-il des AI Overviews ?+
Non. Selon Google, Google-Extended ne modifie pas l'inclusion dans la recherche Google. Les AI Overviews s'appuient sur l'index de Googlebot.
Les robots IA respectent-ils robots.txt ?+
Les grands éditeurs déclarent le respecter pour leurs robots d'indexation et d'entraînement. Le respect par l'ensemble des robots du web n'est pas garanti.