Robots.txt : rôle, directives et robots IA, ce qu'il faut bloquer sans perdre en visibilité

Le fichier robots.txt indique aux robots ce qu'ils peuvent explorer sur votre site. Il ne retire pourtant aucune page de l'index, ne protège aucune donnée et ne lie que les robots qui acceptent de le lire. Mal écrit, il coupe des pages business de Google ; trop restrictif, il retire le site des réponses de ChatGPT ou de Perplexity. Ce guide explique ce qu'il fait, comment l'écrire ligne par ligne et quels robots IA bloquer sans perdre la visibilité générative.

Robots.txt : à quoi il sert, et ce qu'il ne fait pas

Robots.txt est un fichier texte public, placé à la racine d'un site, qui indique aux robots d'exploration les URL auxquelles ils peuvent accéder. Google le rappelle : il sert d'abord à gérer le trafic d'exploration et à éviter de surcharger le serveur, pas à empêcher une page d'apparaître dans les résultats de recherche.

Pour situer son rôle, il faut distinguer les trois étapes qu'une page franchit avant d'être visible :

• découverte : le robot trouve l'URL grâce aux liens internes, aux liens externes ou au sitemap ;
• exploration : il télécharge la page si robots.txt l'y autorise et si le serveur répond correctement ;
• indexation : le moteur décide de conserver la page selon meta robots, X-Robots-Tag, les canonicals et la qualité du contenu.

Robots.txt n'agit que sur la deuxième étape : il autorise ou refuse l'accès à des chemins, limite l'exploration des zones sans valeur (recherche interne, tris, tracking) et déclare les sitemaps. Ses limites expliquent la plupart des erreurs de configuration :

• il n'empêche pas l'indexation : une URL bloquée mais liée ailleurs peut apparaître dans les résultats, sans description ;
• il ne protège rien : le fichier est public et signale même les répertoires que vous voudriez cacher ;
• il n'est pas contraignant : les robots sérieux le respectent, un robot malveillant l'ignore.

En B2B, il canalise l'exploration vers les pages solutions et les contenus experts. Avec les robots IA, il décide aussi qui peut lire vos contenus pour les citer.

Où placer le fichier : racine, sous-domaines, taille et codes de réponse

Les robots cherchent le fichier à une adresse fixe, à la racine de l'hôte, par exemple www.exemple.fr/robots.txt en HTTPS. Quelques règles s'appliquent, à la date de rédaction :

• le nom s'écrit en minuscules, robots.txt, et le fichier ne se place jamais dans un sous-dossier ;
• chaque hôte a son propre fichier : www.exemple.fr, blog.exemple.fr et help.exemple.fr en ont chacun un, de même que chaque protocole ;
• Google lit au plus 500 Kio et ignore tout ce qui dépasse cette limite ;
• les commentaires commencent par # et documentent l'intention des règles.

Versionnez le fichier avec le code du site : l'équipe qui le reprend lors d'une migration saura pourquoi chaque règle existe. Sur un site multilingue, ne bloquez pas les répertoires de langue par réflexe ; hreflang et les sitemaps par langue gèrent mieux les duplications.

Le code HTTP que renvoie le fichier change la manière dont Google explore tout le site :

Un fichier vide, ou réduit à User-agent: * suivie d'un Disallow: vide, autorise tout : pour l'exploration, il équivaut à l'absence de fichier.

Les directives : User-agent, Disallow, Allow, Sitemap

Un fichier se compose de groupes : une ou plusieurs lignes User-agent nomment les robots visés, puis les règles suivent. Voici les directives et leur prise en charge par Google à la date de rédaction :

Quand plusieurs règles visent une même URL, la priorité suit trois principes :

• le robot retient le groupe User-agent le plus spécifique qui le nomme, à défaut le groupe * ;
• dans ce groupe, la règle dont le chemin est le plus long, donc le plus spécifique, l'emporte ;
• à longueur égale, Allow prime sur Disallow.

L'exemple suivant bloque un répertoire tout en laissant une page accessible. Le chemin s'écrit sans accent, car les caractères non ASCII doivent être encodés :

• User-agent: *
• Disallow: /prive/
• Allow: /prive/page-publique.html

Deux directives demandent une mise au point. Google ne prend plus en charge Noindex dans robots.txt depuis le 1er septembre 2019 : pour désindexer, placez noindex dans une balise meta robots ou dans l'en-tête HTTP X-Robots-Tag, sur une page que le robot peut explorer. Si la page est bloquée, il ne voit jamais l'instruction.

Google ignore aussi Crawl-delay, que Bing et Yandex lisent. Chez Google, la vitesse d'exploration se règle côté serveur ou via Search Console.

Wildcards * et $ : syntaxe et pièges

Google et Bing prennent pleinement en charge deux caractères spéciaux, normalisés par la RFC 9309 : l'astérisque *, un joker qui remplace n'importe quelle suite de caractères, et le dollar $, qui ancre la règle en fin d'URL. Voici les usages courants, à adapter à votre structure d'URL :

• Disallow: /*.pdf$ : tous les fichiers PDF, et seulement eux ;
• Disallow: /*? : toutes les URL avec paramètres, une règle large à manier avec prudence ;
• Disallow: /*?sort= : le tri, quand sort est le premier paramètre ;
• Disallow: /*&sort= : le tri, quand sort suit un autre paramètre.

Le piège le plus fréquent tient à l'ordre des paramètres. Dans une URL, le premier paramètre suit un ? et les suivants un & : Disallow: /*?sort= ne bloque donc pas /chaussures?couleur=noir&sort=prix. Pour couvrir les deux cas, doublez chaque règle. Le même raisonnement vaut pour les paramètres de tracking :

• Disallow: /*?utm_
• Disallow: /*&utm_
• Disallow: /*?gclid=
• Disallow: /*&gclid=
• Disallow: /*?fbclid=
• Disallow: /*&fbclid=

Encodez aussi les chemins accentués (/prive/, pas de caractère non ASCII). Enfin, une règle trop large peut bloquer des PDF qui génèrent des leads : avant de déployer un motif, testez des URL « à garder » et « à exclure ».

Exemples de fichiers prêts à l'emploi

Ces modèles s'adaptent à vos chemins et à votre domaine. Pour un site vitrine, on ne bloque aucune page business, on ferme deux répertoires techniques et on déclare le sitemap :

• User-agent: *
• Disallow: /cgi-bin/
• Disallow: /tmp/
• Sitemap: https://www.exemple.fr/sitemap.xml

Pour un site B2B avec blog, on ajoute la recherche interne, les paramètres marketing sous leurs deux formes et un index de sitemaps :

• User-agent: *
• Disallow: /recherche/
• Disallow: /*?utm_
• Disallow: /*&utm_
• Disallow: /*?gclid=
• Disallow: /*&gclid=
• Sitemap: https://www.exemple.fr/sitemap_index.xml

Pour un e-commerce à facettes, les facettes qui portent une intention de recherche (« chaussures de sécurité taille 42 ») restent explorables ; les tris, le panier et le compte se ferment :

• User-agent: *
• Disallow: /panier/
• Disallow: /mon-compte/
• Disallow: /*?sort=
• Disallow: /*&sort=
• Disallow: /*?order=
• Disallow: /*&order=

Avant de déployer, repérez dans les logs les paramètres qui font exploser le nombre d'URL et vérifiez que vous ne bloquez pas une facette à positionner.

Pour un site WordPress, l'usage courant consiste à fermer l'administration en laissant le fichier AJAX accessible, puis à bloquer la recherche interne :

• User-agent: *
• Disallow: /wp-admin/
• Allow: /wp-admin/admin-ajax.php
• Disallow: /?s=
• Sitemap: https://www.exemple.fr/sitemap.xml

Ne bloquez pas /wp-includes/ ni /wp-content/ sans analyse : ils servent au rendu. Sur WooCommerce, ciblez panier, compte et paramètres, jamais catégories ni produits.

Pour une préproduction, le fichier bloque tout, mais il ne suffit pas : une URL liée ailleurs peut être indexée sans être explorée. Protégez aussi l'accès par mot de passe ou par IP :

• # préproduction : ne jamais déployer en production
• User-agent: *
• Disallow: /

Le risque inverse coûte plus cher : ce fichier part en production et coupe tout le site. Vérifiez /robots.txt à chaque déploiement.

Budget de crawl : quand il compte vraiment

Le budget de crawl désigne le nombre d'URL qu'un moteur accepte d'explorer sur un site pendant une période donnée. Il ne compte que pour les très gros sites : catalogues, centres d'aide, plateformes de centaines de milliers d'URL. Sur un site B2B de quelques centaines de pages, robots.txt sert surtout à éviter le bruit. Sur un gros site, voici la recommandation par type de page :

Ne bloquez jamais les CSS et JavaScript nécessaires au rendu : sans eux, Google interprète mal la structure et le contenu visible. Une règle comme Disallow: /*.js$ ou le blocage de /assets/ sans analyse dégrade la compréhension des pages.

Robots IA : lesquels bloquer sans perdre la visibilité générative

Les robots IA ne forment pas un bloc : certains entraînent des modèles, d'autres alimentent un moteur de réponse qui cite ses sources, d'autres agissent à la demande d'un utilisateur. Le tableau les distingue, à la date de rédaction :

La doctrine GEO se résume ainsi : on peut refuser l'entraînement sans refuser la recherche. Bloquer GPTBot ou ClaudeBot n'enlève rien à votre présence dans les réponses ; bloquer OAI-SearchBot, Claude-SearchBot ou PerplexityBot retire le site des réponses, donc des citations.

Ce choix pèse de plus en plus dans l'acquisition : le trafic issu de la recherche IA a augmenté de 527 % en un an (Semrush, 2025). D'autres repères sont rassemblés dans nos statistiques sur le GEO.

Pour refuser l'entraînement en restant citable, un même groupe nomme plusieurs robots, sans aucun robot de recherche :

• User-agent: GPTBot
• User-agent: ClaudeBot
• User-agent: CCBot
• User-agent: Google-Extended
• Disallow: /

Google-Extended prête souvent à confusion : Googlebot explore, et ce jeton indique seulement si les contenus peuvent servir à Gemini. Le bloquer ne retire donc le site ni des AI Overviews ni d'AI Mode, disponibles en France depuis l'été 2026, qui s'appuient sur Googlebot.

L'enjeu n'a rien de marginal : plus de 50 % des recherches Google affichent un AI Overview (Squid Impact, 2025). Bloquer Googlebot pour se protéger des IA ferait disparaître le site des deux.

Robots.txt reste déclaratif : un robot peut ignorer la règle ou usurper un user-agent. Contre les collectes abusives, ajoutez un filtrage serveur qui répond en 403. Notre guide du Generative Engine Optimization détaille les autres leviers de citabilité.

Enfin, llms.txt ne remplace pas robots.txt : c'est un index Markdown des contenus de référence proposé aux LLM, sans valeur de consigne et peu lu à ce jour, que notre article sur le fichier llms.txt présente en détail.

Robots.txt, meta robots, X-Robots-Tag, llms.txt : quel outil pour quel besoin

Chaque mécanisme agit à un niveau différent : robots.txt sur l'exploration, meta robots sur l'indexation des pages HTML, X-Robots-Tag sur celle de tout fichier, PDF compris. Le tableau compare les cinq options :

Pour « autoriser l'exploration mais empêcher l'indexation », laissez la page explorable et ajoutez noindex en meta robots ou en X-Robots-Tag. Pour un contenu privé, seule une authentification le protège réellement.

Erreurs fréquentes et vérification dans Search Console

La plupart des incidents suivent quelques scénarios connus :

Pour vérifier la configuration, Google Search Console propose trois rapports, que les logs serveur complètent :

• le rapport robots.txt, qui remplace l'ancien outil de test : fichiers récupérés par hôte et erreurs de lecture ;
• l'Inspection de l'URL, qui dit si une page est bloquée et comment Google la rend ;
• le rapport Indexation des pages, qui liste les URL bloquées par robots.txt ;
• les logs serveur, qui montrent quels robots explorent quoi et avec quel code HTTP ; un crawler complète l'analyse.

Après chaque modification, ouvrez le fichier sur chaque hôte, testez quelques URL sensibles, puis surveillez l'exploration et l'état de vos sitemaps dans Search Console.

Selon votre situation, ces guides prolongent le sujet :

• un audit SEO complet contrôle robots.txt avec l'exploration et l'indexation ;
• le SEO technique couvre le rendu, les codes HTTP et l'architecture ;
• pour un catalogue à facettes, le guide du SEO e-commerce détaille la gestion des paramètres ;
• pour un site multilingue, le SEO international traite hreflang et les sitemaps par langue ;
• pour faire remonter les pages stratégiques, le maillage interne complète robots.txt.

Dans Incremys, plateforme GEO & SEO, l'audit 360 permet de repérer les URL bloquées, les zones sur-explorées et les accès des robots IA, avec l'indexation, la santé technique et la présence IA par mot-clé.

FAQ sur robots.txt

Peut-on bloquer ChatGPT sans sortir de ChatGPT search ?

Oui. Bloquez GPTBot, le robot d'entraînement d'OpenAI, et laissez OAI-SearchBot accéder au site : vos contenus ne servent plus à l'entraînement, mais restent explorés pour ChatGPT search et peuvent y être cités. Bloquer OAI-SearchBot, à l'inverse, fait disparaître le site de ces résultats.

Le fichier robots.txt est-il obligatoire ?

Non. Sans fichier, ou si son adresse renvoie une erreur 404, Google considère que tout le site est explorable. Le fichier devient utile dès que le site comporte des paramètres d'URL, une recherche interne, plusieurs environnements ou des robots IA à filtrer. Il sert aussi à déclarer vos sitemaps.

Peut-on déclarer plusieurs sitemaps ?

Oui. Ajoutez une ligne Sitemap: par fichier, avec une URL absolue, indépendamment des groupes User-agent. Sur un site volumineux ou multilingue, déclarez plutôt un index de sitemaps qui référence les sitemaps par langue ou par type de contenu : une seule ligne suffit alors.

Comment protéger une préproduction ?

Par une authentification, pas par robots.txt seul. Un Disallow: / limite l'exploration, mais une URL de préproduction liée ailleurs peut quand même être indexée. Protégez l'accès par mot de passe ou par adresse IP, puis vérifiez à chaque mise en ligne que le fichier de préproduction n'a pas été copié en production.

Combien de temps avant qu'une modification soit prise en compte ?

Le délai n'est pas immédiat : il dépend du moment où chaque robot relit le fichier. Après une correction urgente, contrôlez le rapport robots.txt dans Search Console, demandez une nouvelle exploration des pages clés et vérifiez-les avec l'Inspection de l'URL.

Bloquer Google-Extended retire-t-il des AI Overviews ?

Non. Google-Extended est un jeton de contrôle qui indique si vos contenus peuvent servir à Gemini ; il n'explore rien. AI Overviews et AI Mode s'appuient sur Googlebot, comme la recherche classique. Bloquer Google-Extended ne change donc pas votre présence dans ces réponses.

Comment désindexer un PDF ?

Laissez le PDF explorable et appliquez l'en-tête HTTP X-Robots-Tag: noindex côté serveur. Une balise meta robots est impossible dans un PDF, et un Disallow empêcherait le robot de lire l'en-tête : le fichier pourrait rester dans les résultats s'il est lié ailleurs. Pour un document confidentiel, ajoutez un contrôle d'accès.