Atelier Tech for Retail 2025 : Du SEO au GEO - gagner en visibilité à l’ère des moteurs génératifs

Back to blog

Crawl budget en SEO : quand le volume devient le problème, et quoi décider

SEO

Découvrez Incremys

Le plateforme SEO Next Gen 360°

Demande de demo
Mis à jour le

1/11/2026

Chapitre 01

Example H2
Example H3
Example H4
Example H5
Example H6

Responsable SEO, directeur e-commerce ou DSI d'un site à fort volume : cette page vous aide à établir si le budget de crawl est votre problème, puis à décider, par famille d'URL, ce qu'il faut ouvrir, fermer ou assainir. Sur un grand catalogue, l'enjeu est d'être exploré utilement : faire passer les robots sur les bonnes URL, au bon rythme, sans les piéger dans des zones à faible valeur.

 

Elle s'inscrit dans le cadre de l'audit SEO, qui fixe la grille de priorisation et la cadence de référence.

 

Suis-je concerné par le budget de crawl ?

 

La question se tranche avant tout chantier : une optimisation d'exploration engagée sur un site qui n'en a pas besoin ne produit rien. Trois repères servent de première grille :

 

  • environ un million de pages uniques dont le contenu change modérément, de l'ordre d'une fois par semaine ;
  • environ 10 000 pages uniques dès lors que le contenu change très vite, quotidiennement ;
  • un volume important d'URL « découvertes, actuellement non indexées » dans la Search Console, c'est-à-dire connues et pas encore explorées.

 

Ce sont des repères, pas des seuils d'admission. L'état « explorée, actuellement non indexée » ne relève pas du même diagnostic. Les profils exposés sont toujours les mêmes :

 

  • e-commerce : facettes, tri, pagination, variantes ;
  • marketplaces : inventaire très dynamique ;
  • médias : fraîcheur ;
  • annuaires : volumétrie et duplication.

 

Sur ces sites, une dérive structurelle peut créer des dizaines de milliers d'URL « parasites » qui captent l'exploration au détriment des catégories et produits à enjeu.

 

En dessous de ces volumes, le budget est rarement en cause, sans être exclu : un site lent, instable ou riche en URL paramétrées peut être mal exploré à quelques milliers d'URL. Mais si un petit site n'apparaît pas, cherchez d'abord une directive trop large, une canonique incohérente ou un statut HTTP inattendu : c'est le terrain de l'audit SEO technique.

 

Ce que Google peut explorer, et ce qu'il choisit de traiter

 

Le budget de crawl désigne l'ensemble des URL qu'un moteur peut et veut explorer sur un site. Quatre étapes s'y distinguent, et les confondre fait mal lire les rapports :

 

  • Découverte : Google trouve l'URL (liens, sitemap, historique).
  • Exploration : Googlebot récupère la ressource.
  • Rendu : traitement JavaScript et construction de la page interprétée ; sur les sites JS lourds, son coût multiplie celui de l'exploration et réduit la couverture possible.
  • Indexation : analyse, consolidation, puis inclusion potentielle dans l'index ; une URL explorée n'est donc pas une URL indexée.

 

Le budget est par ailleurs défini par hostname : votre domaine principal et un sous-domaine n'ont pas le même budget, un point de design à part entière pour les architectures multi-sous-domaines. L'entrée d'une URL dans la file relève du crawling SEO.

 

Capacité et demande : pourquoi ajouter des serveurs ne suffit pas

 

Le budget résulte de deux composantes qui ne se compensent pas. La capacité dépend des connexions parallèles du robot et du délai qu'il s'impose entre deux récupérations pour ménager vos serveurs. La demande reflète son intérêt à revisiter vos URL : taille, fraîcheur, qualité perçue, pertinence, popularité.

 

D'où une conséquence : si la demande est faible, Google crawle moins, même si le serveur pourrait encaisser davantage. Ajouter de l'infrastructure ne résout pas un problème de perception.

 

Les signaux qui font varier la demande

 

Trois moteurs commandent la demande :

 

  • l'inventaire perçu, souvent le levier le plus actionnable : trop d'URL dupliquées, supprimées ou indésirables peuvent conduire les systèmes à ne pas parcourir le reste du site ;
  • la popularité des URL ;
  • la fraîcheur des contenus.

 

Une migration déclenche un surcroît temporaire de demande. C'est une fenêtre, pas un acquis : si elle crée des chaînes de redirections et des doublons, le coût de traitement augmente au pire moment.

 

Reconnaître un vrai problème d'exploration

 

Avant de bloquer quoi que ce soit, établissez qu'il s'agit bien d'exploration, et non de qualité perçue, d'architecture ou d'intention : un diagnostic posé trop vite produit des blocages qui ne changent rien.

 

Lire les états d'indexation sans se tromper

 

Trois points évitent les erreurs de lecture des rapports d'indexation :

 

  • « Découvertes, actuellement non indexées » désigne des URL connues et pas encore explorées ;
  • « Explorées, actuellement non indexées » désigne des pages que Google a choisi de ne pas indexer, ce qui ne prouve pas un budget insuffisant : cet état se croise avec les délais de recrawl, les logs et les statistiques d'exploration ;
  • deux faux positifs reviennent : confondre « non indexée » avec « problème technique », et traiter toute URL découverte comme une URL à sauver.

 

Sur un gros site, la bonne question devient : est-ce une URL qui doit exister dans la stratégie d'indexation ? Y répondre par la négative supprime plus de chantiers qu'elle n'en crée.

 

Les deux symptômes qui comptent

 

Deux symptômes signent un vrai problème d'exploration : des pages découvertes mais non explorées ou explorées trop tard, et des contenus changeants non revisités.

 

SymptômeCause dominanteCe qu'il faut regarder
Pages découvertes, non exploréesPage trop profonde ou mal reliéeDistance à l'accueil et aux hubs
Pages explorées trop tardEnsemble à faible valeur perçue, typiquement des facettesVolume de combinaisons générées
Prix, stock, disponibilité non revisitésDéficit de fraîcheur perçueRythme de recrawl face au rythme de changement

 

La profondeur excessive agit comme une pénalité de priorité : plus une URL est loin des hubs, moins elle reçoit de signaux internes. Côté fraîcheur, le moteur ne recrawle que si cela « vaut le coût » ; duplication massive, gabarits lents, instabilité serveur et URL infinies réduisent cette perception.

 

Segmenter avant de décider

 

Sur des milliers, parfois des millions d'URL, on pilote au niveau du gabarit et de la famille d'URL, pas de la page : c'est ce qui rend défendable une décision de blocage ou d'ouverture. Segmentez a minima :

 

  • les catégories et sous-catégories ;
  • les fiches produits ;
  • les facettes, filtres, tris et paramètres, principale source de dérive ;
  • les contenus éditoriaux ;
  • les pages techniques.

 

Pour chaque segment, confrontez ensuite cinq dimensions :

 

  • le volume d'URL générées ;
  • l'indexabilité attendue ;
  • les signaux d'exploration ;
  • la performance (TTFB, stabilité) ;
  • la valeur business : performance organique, conversion, marge, disponibilité, saisonnalité.

 

« Important pour le SEO » doit rester aligné sur « important pour le business ». Le diagnostic isole ensuite les familles d'URL qui remplissent au moins l'un de ces quatre critères :

 

  • elles sont explorées fréquemment, mais non indexées ou exclues de manière récurrente ;
  • elles n'ont pas de trafic organique et ne répondent à aucune intention recherchée ;
  • elles introduisent du contenu dupliqué (variantes proches, paramètres, pagination) ;
  • elles dégradent la capacité d'exploration par lenteur, erreurs ou redirections.

 

La grille ci-dessous résume l'attendu par famille et la décision par défaut.

 

Famille d'URLIndexabilité attendueSignal qui doit alerterDécision par défaut
Catégories et sous-catégoriesIndexables et prioritairesExploration rare malgré la demandeRemonter la profondeur, renforcer le maillage
Fiches produitsIndexables, longue traîneDécouvertes non explorées en masseTraiter par lot depuis un hub
Facettes, filtres et trisUne sélection seulementLe nombre d'URL croît, pas le traficTrancher SEO-first ou UX-only
Contenus éditoriauxIndexablesMises à jour non reflétéesVérifier la fraîcheur perçue
Pages techniquesNon indexablesExploration de zones sans valeur de rechercheEmpêcher la découverte, pas l'indexation seule

 

Où le budget se perd

 

Le gaspillage se concentre dans trois familles de causes, à prendre dans cet ordre pour ne pas bloquer d'abord et comprendre ensuite.

 

Facettes, paramètres et tri : la décision SEO-first ou UX-only

 

La navigation à facettes peut produire une infinité d'URL (combinaisons de filtres, tri, pagination) au contenu largement redondant : c'est le piège à robots classique, qui gaspille l'exploration au détriment des pages stratégiques.

 

La bonne approche n'est pas « tout bloquer » mais de décider quelles combinaisons méritent une indexation (forte demande de recherche, gamme structurante, saisonnalité) et de neutraliser le reste par des règles cohérentes : directives, canoniques, patterns d'URL, maillage.

 

Cette décision se prend une fois, par écrit : quelles facettes sont « SEO-first » (indexables, au sitemap, renforcées par le maillage) et lesquelles restent « UX-only ». Sans arbitrage explicite, la règle se reconstitue au premier déploiement, dans le sens de l'ouverture.

 

Pages sans valeur, duplication et le piège du noindex

 

La recherche interne, le panier, la connexion, les pages vides, les variantes de tri ou un défilement infini qui duplique des liens existants deviennent des aspirateurs d'exploration dès qu'ils sont crawlables. Le remède est de fermer ces zones, même utiles au visiteur.

 

Un piège : noindex n'est pas une solution d'économie de crawl. Si Google doit crawler l'URL pour voir le noindex, on consomme quand même du temps d'exploration. Chaque mécanisme a son usage :

 

MécanismeCe qu'il empêcheQuand l'utiliser
Blocage dans le fichier d'explorationLa récupération de l'URLZones sans valeur, variantes de tri
noindexL'indexation, pas l'explorationDésindexer avant tout blocage
404 ou 410Le recrawl durable de l'URLPages supprimées définitivement, plutôt qu'un blocage
Soft 404Rien : elle continue de consommer l'explorationJamais : à éliminer
CanoniqueRien : elle consolide des doublonsDoublons réels, avec un maillage cohérent

 

Côté duplication, consolidez ou éliminez pour concentrer l'exploration sur du contenu unique, et non sur des URL uniques : réduisez les catégories quasi identiques, limitez les variantes sans demande de recherche, réécrivez les contenus gabaritisés trop proches. Méfiez-vous aussi de la canonisation « à tout-va », qui fait retraiter des pages quand le maillage pousse vers des URL canonisant ailleurs.

 

Redirections en chaîne et instabilité : le coût caché

 

Les chaînes de redirections naissent d'une migration, d'un changement de règles d'URL ou de produits redirigés en cascade. Chaque saut consomme une requête ; sur des milliers d'URL, la couverture des pages utiles se dégrade.

 

La capacité suit la « santé de crawl » : elle monte quand le site répond vite et de façon stable, elle baisse dès qu'il ralentit ou renvoie des erreurs. Plus le serveur et le rendu sont lents, moins il reste de « fenêtre utile » pour couvrir un grand inventaire.

 

Le crawl delay : ce que c'est vraiment

 

L'expression recouvre deux choses : la directive Crawl-delay du fichier d'exploration, mécanisme non universel que Googlebot ignore, et le délai entre deux requêtes, composante de la capacité que Google règle sur la réponse du serveur. La syntaxe du fichier robots.txt se traite à part.

 

Moins d'exploration peut relever de trois situations qui n'ont pas les mêmes remèdes :

 

SituationCe qui se passeDécision
Limitation volontaireVous avez bloqué ou réduit certaines familles d'URLSouhaitable si ces URL sont inutiles
ThrottlingGoogle baisse la capacité face à la lenteur ou aux 5xxDocumenter la limite côté infrastructure
Directive Crawl-delay poséeGooglebot l'ignore, d'autres robots ralentissentNe pas compter dessus pour Google

 

Plusieurs observations documentent une limite côté infrastructure :

 

  • un message de type « Hostload exceeded » dans l'outil d'inspection d'URL ;
  • des temps de réponse qui se dégradent sous charge ;
  • des erreurs 5xx corrélées aux pics d'exploration ;
  • une saturation mesurée.

 

C'est sur ce faisceau, et non sur un message unique, qu'un renforcement d'infrastructure se décide. Plutôt que de brider aveuglément, quatre alternatives tiennent :

 

  • réduire les URL parasites ;
  • stabiliser les réponses ;
  • améliorer l'efficacité de rendu ;
  • tenir les sitemaps à jour avec une date de dernière modification fiable.

 

On protège l'infrastructure en rendant l'exploration plus efficace, pas en dégradant la capacité de découverte. Et l'ordre compte : désindexer d'abord, bloquer ensuite, car une page bloquée avant d'être désindexée ne peut plus sortir de l'index.

 

Le plan d'action à volumétrie

 

Trois chantiers se mènent en parallèle : orienter l'exploration vers ce qui compte, réduire ce qui n'a pas à être exploré, faire baisser le coût de chaque récupération. Leur ordre se tranche avec la grille impact × effort × risque du pilier.

 

Concentrer l'exploration sur les pages stratégiques

 

À volumétrie élevée, le maillage interne sert de système de priorisation : catégories cœur de gamme, produits à marge, top ventes et contenus piliers reçoivent davantage de liens, les URL non indexables en reçoivent moins. Les patterns qui tiennent à grande échelle sont connus :

 

  • des pages hub par univers ;
  • des liens latéraux et contextuels ;
  • une pagination accessible ;
  • des blocs de liens HTML crawlables, type « top catégories ».

 

Réduire la surface explorée inutile

 

Trois gestes réduisent la surface explorée :

 

  • empêcher la découverte de ce qui n'a pas à être exploré : les zones UX-only ne s'injectent pas dans le maillage crawlable ;
  • standardiser les paramètres (ordre, casse, séparateurs, tracking) pour qu'une page ne se présente pas sous dix adresses ;
  • traiter la cause plutôt que le symptôme, en arrêtant l'explosion d'URL elle-même.

 

Une réserve s'impose : bloquer des URL peut réduire leur traitement par d'autres systèmes, et le « budget libéré » n'est pas automatiquement réalloué, sauf si vous étiez au plafond côté serveur. Un blocage ne s'annonce donc jamais comme un gain d'exploration.

 

Assainir les redirections et stabiliser la réponse

 

Côté serveur, un backlog « performance » est un backlog d'exploration : moins d'erreurs et de latence, c'est plus de capacité. Les règles à vérifier sont simples :

 

  • une seule redirection au maximum entre une ancienne URL et sa destination finale, idéalement zéro pour les liens internes ;
  • des versions standardisées (http et https, www et non-www, slash final) ;
  • une redirection permanente dès que la destination est pérenne, avec un maillage interne pointant vers l'URL finale ;
  • un coût de rendu réduit sur les architectures JavaScript (bundles inutiles, hydratation excessive) ;
  • aucun blocage des CSS, JavaScript et images nécessaires au rendu des pages qui comptent.

 

Piloter dans la durée et éviter les régressions

 

Sur les gros sites, la difficulté est de décider quoi corriger en premier et de mesurer l'effet. Un tableau de bord minimal convient, à condition de corréler quatre familles de signaux :

 

  • l'exploration : tendances, erreurs serveur, redirections ;
  • les états d'indexation : valide, exclu, découverte ou exploration sans indexation ;
  • la performance technique : TTFB, stabilité, gabarits lents ;
  • la valeur : impressions, clics, conversions sur les zones business.

 

Les régressions viennent rarement d'une mauvaise intention, mais d'un déploiement. Après chaque release majeure, vérifiez sur les gabarits les plus explorés et les plus business si la mise en production :

 

  • génère de nouvelles URL paramétrées ;
  • multiplie des pages proches par duplication de gabarit ;
  • introduit des redirections en chaîne ;
  • change la profondeur ;
  • dégrade la latence et la stabilité (pics 5xx).

 

Une seule règle de facette mal cadrée peut recréer un « inventaire perçu » inutile en quelques jours. Une analyse complète se relance sur événement : refonte, migration ou changement de règles (redirections, canoniques, sitemap), pic saisonnier, ajout massif de produits ou de catégories.

 

Continuez votre lecture

 

Selon ce que le diagnostic a révélé, deux prolongements s'imposent. Vous devez chiffrer ce que consomment vos familles d'URL avant de bloquer : l'analyse de logs mesure la fréquence de passage par section. Le catalogue lui-même est devenu le sujet : l'audit SEO e-commerce arbitre catégories, fiches, facettes et produits expirés.

 

Entre deux analyses, le suivi release après release du volume d'URL générées par famille, pour détecter une règle de facette mal cadrée, est la tâche que couvre le module d'audit et de cartographie d'Incremys.

 

FAQ sur le budget de crawl et le crawl delay en SEO

 

Quelle est la définition du budget de crawl en SEO ?

 

Le budget de crawl est l'ensemble des URL qu'un moteur comme Google peut et veut explorer sur un site. Il combine une capacité, limitée par ce que votre serveur encaisse, et une demande, qui reflète l'intérêt du moteur pour vos pages. Être exploré ne garantit pas d'être indexé.

 

À quoi sert le budget de crawl et quand devient-il limitant ?

 

Le budget de crawl devient limitant quand des URL à forte valeur ne sont pas explorées assez vite : le robot s'épuise sur des URL parasites, ou la lenteur et les 5xx réduisent sa capacité. Les repères : environ un million de pages hebdomadaires, ou environ 10 000 quotidiennes.

 

Comment savoir si le budget de crawl est un problème sur mon site ?

 

Le budget de crawl pose problème quand plusieurs signaux se cumulent sur les mêmes gabarits : beaucoup d'URL « découvertes, actuellement non indexées », des nouvelles pages qui tardent à apparaître, des mises à jour non reflétées, une exploration concentrée sur les paramètres, une hausse des 5xx. Aucun signal ne tranche seul.

 

Comment réussir l'optimisation sans perdre de pages importantes ?

 

On optimise sans perte en procédant par segmentation et par règles, jamais par actions globales. Décidez d'abord quelles familles d'URL doivent être indexables, puis alignez maillage, sitemap et directives. Aucun blocage large ne se pose sans inventaire préalable, et une page supprimée renvoie un 404 ou un 410.

 

Qu'est-ce que le crawl delay en SEO ?

 

Le crawl delay désigne le délai qu'un robot observe entre deux requêtes sur un même site. Chez Google, il fait partie de la capacité d'exploration, ajustée pour ne pas surcharger le serveur : c'est une conséquence de ce que votre infrastructure renvoie, pas un réglage.

 

La directive crawl-delay dans robots.txt améliore-t-elle vraiment le SEO ?

 

La directive crawl-delay n'est pas un levier SEO pour Google, car Googlebot l'ignore, même si d'autres robots la respectent. Google ajuste sa cadence sur la latence, les erreurs et la stabilité du serveur. Le levier fiable consiste à réduire les URL inutiles et à améliorer la performance.

 

Faut-il bloquer les filtres et facettes, ou les laisser explorables sur un gros site e-commerce ?

 

Il ne faut ni tout bloquer ni tout ouvrir. Les combinaisons qui ont une valeur de recherche et une intention claire sont SEO-first et indexables ; le reste demeure UX-only et son explosion combinatoire s'empêche. Le blocage convient aux variantes de tri, alors que noindex n'empêche pas l'exploration.

 

Comment prioriser les corrections sur un catalogue de centaines de milliers de pages ?

 

On priorise en croisant segmentation par gabarits, valeur business et signaux d'exploration, puis en ordonnant selon l'impact, l'effort et le risque. Passent en premier les templates souvent explorés mais lents, les familles d'URL très dupliquées et les erreurs qui reviennent d'un déploiement à l'autre.

Découvrez d’autres articles

See all

Le SEO et GEO nouvelle génération commence ici

Complétez le formulaire pour que l’on puisse vous contacter.

Le SEO nouvelle génération
est en marche !

Merci pour votre demande, nous revenons vers vous rapidement.

Oops! Something went wrong while submitting the form.