On migre un site, on lance un audit technique, ou on reprend un projet existant sans documentation. Dans chaque cas, la première étape est la même : obtenir la liste complète des URL. Le problème, c’est qu’aucune méthode unique ne suffit. Entre les pages orphelines, celles bloquées par le robots.txt et celles que Google a décidé d’ignorer, il faut croiser plusieurs sources pour dresser un inventaire fiable.
Crawl technique : le socle pour lister les URL d’un site
Quand on récupère un site sans accès au CMS, le premier réflexe est de lancer un crawl. Un outil comme Screaming Frog, Sitebulb ou le module d’audit de SE Ranking parcourt le site en suivant les liens internes, exactement comme le ferait Googlebot.
A lire aussi : Quel est l'objectif principal d'un site web ?
Le crawl révèle la structure réelle du maillage. On obtient chaque URL accessible par navigation, avec son code HTTP, ses balises canonical, ses redirections. C’est la méthode la plus complète pour cartographier ce qui est effectivement lié.
En revanche, un crawl ne trouve que les pages reliées. Une page sans aucun lien interne pointant vers elle, ce qu’on appelle une page orpheline, reste invisible pour le spider. C’est typiquement le cas d’anciennes landing pages de campagnes publicitaires ou de pages de test oubliées en production.
A lire également : Qu'est-ce qu'un texte d'ancrage ?
Pour compenser cette limite, on injecte dans le crawl des sources complémentaires : le sitemap XML, un export de la Search Console, ou un fichier CSV issu du CMS. L’outil croise alors les URL découvertes par navigation et celles déclarées ailleurs, puis signale les écarts.
Sitemap XML et robots.txt : ce qu’ils montrent (et ce qu’ils cachent)
Le fichier sitemap.xml est souvent le point de départ le plus rapide. On y accède en ajoutant /sitemap.xml à la racine du domaine, ou en cherchant sa déclaration dans le robots.txt. Il liste les URL que le propriétaire du site souhaite voir indexées.
Deux précautions à garder en tête :
- Un sitemap traité avec succès par Google signifie uniquement que le fichier a été lu, pas que toutes les URL qu’il contient sont explorées ou indexées.
- La valeur
lastmodn’est fiable que si elle reflète une modification réelle du contenu. Quand elle est regénérée automatiquement à chaque build, le signal perd toute utilité pour les moteurs. - Certains sites fragmentent leur sitemap en plusieurs fichiers (sitemap index). Il faut tous les récupérer pour avoir l’inventaire complet.
Le robots.txt, lui, ne liste pas les pages du site. Il indique les chemins interdits au crawl. Paradoxalement, c’est une mine d’information : les répertoires bloqués révèlent des sections que le propriétaire préfère masquer aux robots, mais qui existent bel et bien.
Google Search Console : distinguer URL connues et URL indexées
Quand on a accès à la Search Console du site, le rapport « Pages » (anciennement « Couverture ») devient un outil précieux. Il répond à deux questions qu’on confond souvent : quelles URL Google connaît-il, et lesquelles figurent réellement dans l’index ?
La Search Console classe les URL en catégories explicites. On y trouve notamment les pages « découvertes, actuellement non indexées » (Google connaît l’URL mais ne l’a pas encore explorée) et les pages « explorées, actuellement non indexées » (explorées mais jugées insuffisantes pour l’index). Ces deux statuts signalent des problèmes de qualité ou de priorité qu’un simple crawl ne détecte pas.
L’outil d’inspection d’URL permet ensuite de vérifier une adresse précise. Il affiche le canonical retenu par Google, qui peut différer de celui déclaré dans le code source. Sur les sites avec des paramètres d’URL ou du contenu dupliqué, cette information change la stratégie de nettoyage.
Exporter les données pour croiser les sources
La Search Console permet d’exporter la liste des URL par statut. On récupère ce fichier, on le confronte au résultat du crawl et au sitemap, puis on identifie trois catégories :
- URL présentes dans le crawl et dans la Search Console : le cas normal, tout va bien.
- URL dans la Search Console mais absentes du crawl : probablement des pages orphelines ou des URL soumises manuellement.
- URL dans le crawl mais inconnues de la Search Console : pages trop récentes, bloquées par le robots.txt, ou en noindex.
Ce croisement en trois colonnes donne une vision complète de l’écart entre structure réelle et perception Google.
IndexNow et flux RSS : accélérer la découverte des nouvelles pages
Sur un site qui publie fréquemment, le sitemap XML ne suffit pas toujours à signaler rapidement les nouveaux contenus aux moteurs. Le protocole IndexNow permet de notifier Bing (et les moteurs participants) dès qu’une URL est créée, modifiée ou supprimée. IndexNow complète le sitemap sans le remplacer : le sitemap reste l’inventaire de référence, IndexNow joue le rôle d’alerte en temps réel.
Les flux RSS ou Atom constituent une autre source souvent négligée. Bing Webmaster Tools accepte ces formats comme méthode de soumission d’URL. Pour un blog ou un site d’actualités, le flux RSS reflète les publications récentes et peut servir de complément au sitemap pour les contenus frais.
Logs serveur : la méthode terrain pour les sites complexes
L’analyse des logs serveur reste la seule approche qui montre ce que les robots demandent réellement. Chaque requête de Googlebot, Bingbot ou d’un autre crawler est enregistrée avec l’URL, le code de réponse et l’horodatage.
Sur un site e-commerce avec des milliers de pages filtrées, les logs révèlent les URL à facettes que les moteurs explorent malgré les directives du robots.txt. C’est aussi dans les logs qu’on repère les crawls sur des URL supprimées ou des chemins générés par erreur.
L’inconvénient : les retours varient sur la facilité d’accès selon l’hébergeur, et le volume de données peut être considérable sur les gros sites. Mais pour un inventaire exhaustif, c’est la source la plus fidèle à la réalité.
Aucune méthode isolée ne garantit un inventaire complet. Le croisement systématique entre crawl, sitemap, Search Console et logs serveur reste le seul moyen fiable de repérer chaque page d’un site, y compris celles que personne n’avait prévu de trouver.
