Crawl budget et indexation Google : ce que GPTBot et PerplexityBot lisent vraiment

Ce n'est pas un mystère, c'est une conséquence. « Indexé » n'est plus un état unique. C'est au moins quatre choses différentes selon qui te lit : l'index de Google, l'index de recherche d'un moteur IA, un corpus d'entraînement, une récupération à la volée quand quelqu'un colle ton URL dans une conversation. Et il arrive qu'un site ferme un de ces accès sans le savoir — pas toujours dans le robots.txt, parfois dans le pare-feu, activé par l'infra.

À la fin de cet article, tu sais quoi vérifier et dans quel ordre. Une réserve d'entrée : être accessible ne te fait pas citer. Mais un moteur qui ne peut pas récupérer ta page ne peut pas la citer en source.

Crawl, indexation, citation : trois choses différentes

Tout le reste dépend de ce vocabulaire.

Crawler, c'est télécharger. Un bot demande ton URL, ton serveur répond, il récupère le HTML. Rien de plus.

Indexer, c'est stocker. Le moteur analyse ce qu'il a téléchargé, décide de le garder et rend la page récupérable quand quelqu'un cherche.

Citer, c'est choisir. Le moteur pioche dans ce qu'il a stocké pour construire une réponse, et il nomme — ou pas — ta page dans ses sources.

Crawlé ne veut pas dire indexé

Un bot peut passer tous les jours et le moteur décider de ne rien garder : contenu dupliqué, page trop mince, canonical qui désigne une autre URL, soft 404. Le log te dit que le bot est venu, jamais que la page est indexée.

Indexé ne veut pas dire cité

Être dans l'index, c'est être éligible. La citation se joue à la réponse : le moteur retient un petit nombre de sources, celles qu'il juge les plus utiles à la question. Tu peux être parfaitement indexé et ne jamais franchir cette sélection.

C'est la logique de notre vocabulaire maison : Absent → Mentionné → Recommandé. Le scan de visibilité IA mesure la sortie — ce que les moteurs disent de toi. Cet article traite l'entrée : ce qu'ils arrivent à lire de toi. Pour la lecture stratégique, on a écrit la différence entre GEO et SEO.

L'indexation Google : la couche que tout le reste suppose

Commence par Google, et tu n'as pas à nous croire sur parole. Google l'écrit dans sa documentation sur les fonctionnalités IA de Search : « a page must be indexed and eligible to be shown in Google Search with a snippet » pour apparaître en lien source dans les AI Overviews ou l'AI Mode. Sortir de l'index Google, c'est donc sortir aussi de sa couche IA. Pas un sujet « ancien monde » : le socle sur lequel une partie de ta visibilité IA repose.

Vérifier ton indexation en cinq minutes

1. L'inspection d'URL dans la Search Console. Le seul verdict par URL qui fasse autorité, et il te dit pourquoi : découverte non indexée, explorée non indexée, exclue par un noindex, autre URL canonique sélectionnée. 2. Le rapport Pages / Indexation, pour voir les motifs à l'échelle du site et repérer les paquets d'URL qui tombent pour la même raison. 3. La commande `site:`, en dernier, et pour ce qu'elle est : un ordre de grandeur. Elle ne remplace pas le point 1.

Les causes de non-indexation à écarter en premier

La liste tient en une ligne : un `noindex` oublié depuis la recette, un `Disallow` dans le robots.txt, un canonical qui pointe ailleurs, des 4xx ou 5xx intermittents, des soft 404, des chaînes de redirection, des pages orphelines, du contenu dupliqué entre variantes d'URL.

Et un piège qui mérite son paragraphe : une URL bloquée au crawl empêche Google de lire le `noindex` qu'elle contient. Les deux directives se neutralisent. Google l'écrit dans sa documentation sur le blocage de l'indexation : « For the `noindex` rule to be effective, the page or resource must not be blocked by a robots.txt file, and it has to be otherwise accessible to the crawler. » Bloquée, la page peut rester dans les résultats, sans contenu exploitable. Pour désindexer, laisse le crawl ouvert et sers le `noindex` — le genre de contradiction qu'un audit SEO technique sort en début de mission.

Note la frontière : ici on parle d'accès et d'indexation. Si tu es bien indexé mais tu ne montes pas, c'est une autre question, traitée ailleurs.

Le crawl budget, ça te concerne ou pas

Probablement pas, et Google donne les ordres de grandeur dans son guide pour les grands sites : plus d'un million de pages uniques changeant environ une fois par semaine, ou plus de 10 000 changeant quotidiennement, ou une grande part d'URL classées « Détectée, actuellement non indexée ». Google précise que ces nombres sont « a rough estimate », pas des seuils exacts. En dessous, ton problème n'est pas le budget de crawl : c'est un blocage, une coquille vide ou une directive mal posée.

Le zoo des bots IA : qui lit quoi, et pour quoi faire

Un même éditeur publie plusieurs agents qui ne font pas le même travail : quatre chez OpenAI, trois chez Anthropic et chez Mistral.

Entraînement, index, fetch en direct

Avant de nommer un seul bot, retiens les trois rôles — c'est le rôle qui compte, pas le nom.

1. Le crawler d'entraînement. Il constitue un corpus qui servira à entraîner un modèle. Le bloquer est une décision de politique de contenu, parfaitement légitime. Ça ne te retire pas des réponses sourcées : celles-ci passent par l'index de recherche, pas par le corpus.

2. Le crawler d'index de recherche. Il alimente le moteur de récupération que le modèle interroge pour répondre. C'est lui qui décide si tu es citable. OpenAI le formule sans détour dans sa documentation des bots : « Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links. » Les réponses de recherche, donc — pas toutes les réponses, et pas les liens de navigation.

3. Le fetch déclenché par l'utilisateur. Quelqu'un colle ton URL dans une conversation, ou un agent va chercher ta page.

Une nuance qui change le geste : ces agents-là ne se pilotent pas de façon fiable par le robots.txt. OpenAI écrit, pour ChatGPT-User : « Because these actions are initiated by a user, robots.txt rules may not apply. » Perplexity écrit que Perplexity-User « generally ignores robots.txt rules ». Fermer cette porte se joue côté serveur ou WAF — et pèse ce que ça produit : ta page ne se lit plus quand un prospect la colle.

Le tableau des user-agents

Liens et rôles revérifiés le 06/08/2026 sur les documentations éditeurs. Ces noms et ces URL bougent : c'est une carte, pas un référentiel.

Trois notes, parce qu'un tableau « vérifié » doit dire aussi ce qu'il ne dit pas. Google-Extended n'a pas de user-agent HTTP à lui, et Google écrit qu'il « does not impact a site's inclusion in Google Search nor is it used as a ranking signal in Google Search ». OpenAI documente un quatrième agent, OAI-AdsBot, hors des trois rôles traités ici. Et deux absents assumés, Bing et Apple : le jour où on a bouclé ce tableau, le portail d'aide Bing ne nous a renvoyé que son titre — il se rend en JavaScript — et la page Applebot est revenue tronquée. Une ligne manquante vaut mieux qu'une ligne non vérifiée. Ironie utile : c'est exactement le symptôme que cet article apprend à diagnostiquer.

Le contresens qui coûte le plus cher

Bloquer l'entraînement et bloquer la citation ne sont pas le même geste. Faire le second en croyant faire le premier est une erreur facile à commettre : une ligne ajoutée en réunion, un agent d'index coupé au passage, et la marque sort des réponses sourcées. Ne pas nourrir les modèles tout en restant cité, c'est possible — il faut viser le bon agent.

Une précision d'honnêteté : bloquer l'entraînement te retire d'un corpus futur, pas de ce qu'un modèle « sait » déjà de ta marque. Il peut te mentionner sans source. C'est la citation liée, avec URL, qui dépend de l'index de recherche.

Es-tu en train de les bloquer sans le savoir ?

Trois couches, de la plus visible à la plus invisible.

Lire ton robots.txt comme un bot

La règle à connaître avant de toucher au fichier : un crawler applique un seul groupe, le plus spécifique qui corresponde à son user-agent, et il n'hérite pas de `User-agent: `. La [documentation robots.txt de Google](https://developers.google.com/search/docs/crawling-indexing/robots/robots_txt) l'écrit : « User agent specific groups and global groups () are not combined ».

Conséquence directe. Ce fichier :

``` User-agent: Disallow: /admin/ Disallow: /panier/ Disallow: /?filtre=

User-agent: PerplexityBot Disallow: /pdf-internes/ ```

…ne fait pas ce que tu crois. Pour PerplexityBot, les trois premières règles n'existent plus : il a le droit d'aller dans `/admin/`, `/panier/` et dans toutes tes URL à facettes. Si tu crées un groupe dédié à un bot, recopie-y toutes les directives qui doivent s'appliquer.

Le pare-feu que personne n'a prévenu

Ton robots.txt peut être irréprochable et tes bots quand même bloqués. Le blocage des crawlers IA est devenu un interrupteur : Cloudflare a annoncé le sien le 3 juillet 2024 — « To help, we've added a brand new one-click to block all AI bots. It's available for all customers, including those on the free tier. » Ajoute le rate limiting, le challenge JavaScript, le géo-blocage : autant de portes qui se referment sans laisser de trace dans un fichier lisible par le marketing.

Et cet interrupteur bouge sous tes pieds. Le 1er juillet 2026, Cloudflare a remplacé le bouton unique par trois catégories — Search, Agent, Training — avec une bascule datée : « For all new domains onboarding to Cloudflare, the categories of Training and Agent will be blocked by default on the pages that display ads, while Search will remain allowed by default », à compter du 15 septembre 2026. Deux conséquences, à lire avant cette date. Le fetch déclenché par l'utilisateur tombe dans « Agent » — Cloudflare cite ChatGPT-User en exemple : sur un nouveau domaine qui affiche de la publicité, cette porte se ferme sans que personne ait rien coché. Et « Training » ne se limite pas à l'entraînement : Cloudflare écrit que « multi-purpose crawlers such as Googlebot, Applebot, and BingBot will be blocked by customers who have selected to block Training ». Autrement dit, chez cet hébergeur, bloquer l'entraînement peut te coûter Googlebot — donc l'index Search, donc les AI Overviews.

Ce réglage vit côté infra, pas côté marketing, et il a ses raisons : la charge, la bande passante. Va leur demander : une règle de blocage des bots IA est-elle active, quels user-agents elle couvre, quel code retour on sert à ces requêtes.

Les logs, seule preuve

Un user-agent est déclaratif : n'importe qui peut s'annoncer comme GPTBot. La vérification sérieuse croise les logs serveur, les plages d'IP publiées par les éditeurs — OpenAI et Perplexity publient les leurs, Mistral aussi pour ses agents d'index et de fetch, pas pour son crawler d'entraînement — et le reverse DNS. Google documente la procédure de vérification de Googlebot, qui vaut comme modèle.

En log combiné, tu commences par ça :

```bash grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|PerplexityBot|Perplexity-User|ClaudeBot|MistralAI-Index|Googlebot" access.log \

```

Tu cherches quatre réponses : quels bots passent, sur quelles URL, avec quel code retour, à quelle fréquence. Un 403 ou un 429 massif sur un agent d'index, c'est ta piste principale — à confirmer par l'IP, pas par le seul user-agent. Un site qui ne sait pas répondre à ces questions n'a pas un avis sur sa visibilité IA, il a une intuition.

Ce que le bot reçoit vraiment quand il arrive

Passer de « il accède » à « il comprend ».

Le test curl, une minute par page

Reproductible, gratuit, il te montre le HTML servi à un agent :

```bash curl -A "OAI-SearchBot/1.0" -sL -o /tmp/page.html \ -w "%{http_code} %{size_download} octets %{url_effective}\n" \ https://ton-site.fr/ta-page

grep -c "une phrase exacte prise dans ton texte" /tmp/page.html ```

Trois choses à lire : le code HTTP, le poids du HTML, et surtout la présence de ton texte dans la source brute. Rejoue la commande avec `Googlebot`, puis avec un agent IA.

Deux limites avant de conclure. Un curl part de ton IP : si le blocage se fait par plage d'IP ou par ASN, ce que permettent les WAF, tu passeras alors que le vrai bot est refusé. Et une règle peut matcher la chaîne complète du user-agent, qu'un UA raccourci ne déclenche pas. Un curl qui échoue est un signal fort, à confirmer dans les logs ; un curl qui passe ne prouve rien. Ce sont les logs qui tranchent.

Sur le JavaScript, distingue deux mondes plutôt que d'appliquer un verdict unique. Google documente que Googlebot exécute le JS, dans un second temps après le crawl : « Once Google's resources allow, a headless Chromium renders the page and executes the JavaScript » (bases du SEO JavaScript). Côté moteurs IA, aucun éditeur cité ici ne prend le même engagement public. Ne te fie donc à aucune affirmation générale, y compris les nôtres : si ton texte n'est pas dans le HTML brut, pars du principe qu'un bot IA voit une coquille vide.

Les directives qui te coupent des réponses

`nosnippet`, `max-snippet` et `data-nosnippet` limitent ce qu'un moteur a le droit de réutiliser de ta page. Et c'est bien sur sa page dédiée aux fonctionnalités IA de Search que Google les désigne : « To limit the information shown from your pages in Search, use `nosnippet`, `data-nosnippet`, `max-snippet`, or `noindex` controls. » Même page, même logique : « AI is built into Search and integral to how Search functions. » Ces directives ne coupent donc pas que tes extraits classiques : elles jouent sur ce que les AI Overviews et l'AI Mode peuvent reprendre de toi. Un arbitrage à assumer, pas un réglage anodin. Et `Google-Extended` ne joue pas ce rôle : c'est un jeton lié à l'entraînement et au grounding de Gemini.

Fraîcheur et re-crawl

Les leviers les moins chers : un sitemap propre, un `lastmod` honnête, des canonicals stables, des 301 directs, des réponses rapides. À date, aucun moteur ne publie de cadence de re-crawl garantie : on optimise les signaux, on ne promet pas un délai.

Le plan d'une heure, dans l'ordre

Classé par coût du problème, pas par facilité d'exécution.

1. Ouvre ton robots.txt et lis-le groupe par groupe, sans supposer le moindre héritage. 2. Demande à l'infra si un blocage des bots IA est actif sur le CDN ou le WAF, et lequel. 3. Lance le curl sur tes cinq pages qui comptent, avec Googlebot puis avec un agent IA. 4. Sors 30 jours de logs et compte les passages par bot et par code retour — la seule pièce qui prouve un blocage. 5. Inspecte ces mêmes URL dans la Search Console pour croiser le verdict Google. 6. Corrige dans cet ordre : blocage total, coquille vide, noindex, canonical, fraîcheur.

La limite honnête : tout ça te rend lisible, ça ne te rend pas cité. La citation se joue ensuite, sur le contenu et la marque. Mais aucune stratégie de contenu ne rattrape un 403.

Fais les deux vérifications, maintenant

Ouvre ton robots.txt et lance le curl sur ta page la plus stratégique. Compte dix minutes : une réponse ferme si c'est fermé, une piste à confirmer dans les logs si ça passe.

Ensuite, regarde la sortie : Scanner ma visibilité IA part de ton domaine et de ton secteur, joue une banque de prompts prédéfinis sur ChatGPT, ChatGPT Search, Gemini et Perplexity, et te rend un verdict moteur par moteur — absent, mentionné ou recommandé. Le verdict est gratuit et sans compte ; le détail — concurrents cités, domaines qui sortent devant toi — passe par un formulaire. Compte moins de deux minutes.

Et si le curl te renvoie une coquille vide, un 403 ou un noindex que personne n'assume, c'est un chantier technique : on le prend par l'audit SEO technique.