Configuration de robots.txt : règles Allow / Disallow, erreurs courantes et méthode de test
1. Ce que robots.txt gère et ne gère pas
robots.txt est un fichier texte brut placé à la racine du site. Il indique aux robots des moteurs de recherche quels chemins explorer et lesquels éviter. C’est un accord de gentlemen : les robots respectueux (Googlebot, Bingbot) le suivent, les robots malveillants (aspirateurs de contenu) ne le lisent même pas.
Le point le plus important à comprendre : robots.txt contrôle l’exploration, pas l’indexation. On confond souvent les deux. Si vous bloquez un chemin avec Disallow, Googlebot n’explorera pas les pages de ce chemin, mais si des liens externes pointent vers ces URL, Google sait qu’elles existent et les affichera dans les résultats de recherche, sans titre, sans description et sans extrait de contenu : juste une suite de liens bruts.
| Idées reçues | Réalité | Conséquence |
|---|---|---|
| Bloquée par Disallow, la page n’apparaît pas dans les SERP | Une URL liée depuis l’extérieur apparaît quand même dans les SERP | URL brute, sans titre ni description |
| robots.txt empêche l’indexation d’une page | Non, pour cela il faut noindex | La page apparaît quand même dans les résultats |
| robots.txt cache le site aux concurrents | Tout le monde peut accéder à /robots.txt | C’est une information publique |
| Plus il y a de règles dans robots.txt, mieux c’est | Une seule règle erronée et tout le site disparaît | La configuration doit rester minimale |
| robots.txt protège les pages sensibles | Accord de gentlemen, les robots malveillants ne le respectent pas | Les pages sensibles doivent être protégées par mot de passe |
Liens avec les autres modules SEO : robots.txt est Google SEO la configuration la plus fondamentale de la base technique, à utiliser avec l’optimisation du sitemap XML—déclarez l’emplacement du sitemap à la fin de robots.txt, Google découvre ainsi le sitemap. Et avec Checklist d’audit SEO technique Le lien avec robots.txt : c’est le premier contrôle du quadrant crawl.
2. Syntaxe des règles : User-agent, Disallow, Allow, Sitemap
La syntaxe de robots.txt est simple : quatre directives principales. Mais simple ne veut pas dire sans erreur : le sens d’un slash ou la position d’un astérisque suffit à changer le sens d’une règle.
| Directive | Exemples de rédaction | Rôle | Points d’attention |
|---|---|---|---|
| User-agent | User-agent: * | Indique à quel crawler la règle s’applique | * désigne tous les crawlers et doit figurer en première ligne du groupe de règles |
| Disallow | Disallow: /admin/ | Empêche le crawl de toutes les pages de ce chemin | Un slash final désigne tout le répertoire |
| Allow | Allow: /admin/public/ | Autorise le crawl d’un sous-chemin couvert par un Disallow parent | Sert à affiner une règle, mais tous les crawlers ne le prennent pas en charge |
| Sitemap | Sitemap: https://… | Déclare l’emplacement du Sitemap | À placer en fin de fichier, en dehors des groupes de règles |
| Joker * | Disallow: /*?sort= | Correspond à n’importe quelle suite de caractères | Sert à bloquer les URL avec paramètres |
| Fin de ligne $ | Disallow: /test.html$ | Correspond exactement aux URL se terminant par cette chaîne | Sert à bloquer précisément un seul fichier |
À quoi ressemble le robots.txt d’un site B2B standard ? La configuration essentielle tient en quelques lignes : on commence par User-agent: *, on bloque avec Disallow les chemins fonctionnels comme admin, cart ou checkout, on bloque les URL de filtres et de tri avec paramètres, et on déclare l’emplacement du Sitemap à la fin. Les pages produit, les articles et les pages de catégorie ne reçoivent aucune règle : par défaut, le crawl est autorisé.
Exemple concret : le robots.txt d’un site e-commerce B2B contenait Disallow: /products/. L’intention était de bloquer les versions paginées des pages de liste produit, mais la règle a bloqué toutes les pages produit. Trois semaines plus tard, en cherchant la marque sur Google, le SERP n’affichait plus que la page d’accueil et la page À propos : toutes les pages produit avaient disparu. Correction : remplacer la règle par Disallow: /products/?page= pour ne bloquer que les URL avec paramètre de pagination, sans bloquer /products/ lui-même. Vérifier chaque règle avec l’outil de test robots de la GSC avant de mettre en ligne.
3. Deux erreurs fatales : bloquer tout le site et utiliser le mauvais outil
Les erreurs dans robots.txt vont du détail au grave, mais deux d’entre elles sont fatales : une fois commises, tout le site disparaît des résultats de recherche.
| Type d’erreur | Symptôme | Signaux de détection | Correctif | Délai de rétablissement |
|---|---|---|---|---|
| Disallow: / : blocage de tout le site | Google ne crawle plus aucune page | Explosion des « Explorée, non indexée » dans la couverture GSC sur tout le site | Supprimer Disallow: / et conserver les règles nécessaires | Nouveau crawl en 1 à 3 jours, classement rétabli en 1 à 2 semaines |
| Bloquer l’indexation avec robots.txt | La page apparaît dans le SERP mais sans titre | Le SERP affiche une URL nue, sans extrait | Passer à la balise meta noindex | Disparition du SERP en 2 à 4 semaines |
| Chemin de règle mal écrit | Ce qui devait être bloqué ne l’est pas, ce qui devait être autorisé est bloqué | Statistiques de crawl GSC anormales | Vérifier chaque règle avec l’outil de test | Prise en compte immédiate après modification |
| Oubli de déclarer le Sitemap | Google découvre le Sitemap plus lentement | Le rapport Sitemap de la GSC indique « non soumis » | Ajouter l’instruction Sitemap: à la fin de robots.txt | Détecté au prochain crawl |
Le contre-intuitif, c’est ici : beaucoup pensent que pour empêcher une page d’apparaître dans les résultats de recherche, il suffit d’écrire Disallow. C’est faux. Disallow empêche seulement Google de crawler le contenu, mais Google sait quand même que cette URL existe — il l’a apprise via des liens externes, le sitemap ou l’historique de crawl. Résultat : une URL brute apparaît dans les SERP, sans titre, sans description, sans extrait. L’utilisateur clique et tombe sur une 403 ou une page blanche. Expérience désastreuse, et une occasion d’affichage gaspillée.
La bonne méthode : si vous ne voulez pas qu’une page soit indexée, ajoutez-y une balise meta noindex (<meta name=”robots” content=”noindex”>), et ne la bloquez pas dans robots.txt — car noindex ne fonctionne que si Google peut crawler la page. Si vous cumulez Disallow et noindex, Google ne peut pas crawler la page, donc ne lit pas la balise noindex : ni indexation ni blocage, vous perdez sur les deux tableaux.
Deuxième exemple : la page de téléchargement d’un devis sur un site B2B (/pricing/quote-request/) ne doit pas être indexée par Google, car c’est un formulaire sans besoin de positionnement sur des mots-clés. L’équipe marketing a écrit Disallow: /pricing/quote-request/. Trois mois plus tard, cette URL apparaît dans les SERP — en cherchant « quote request », on voit une URL brute sans titre. En cause : plusieurs annuaires sectoriels pointent vers cette page. Solution : supprimer la ligne Disallow du robots.txt et ajouter une balise meta noindex dans le head de la page. Deux semaines plus tard, l’URL disparaît des SERP.
IV. Méthode de test et processus de mise en ligne
robots.txt prend effet immédiatement après modification — pas de délai de cache, Google lira la nouvelle version à sa prochaine visite. Une erreur se paie donc tout de suite. Chaque modification doit donc être vérifiée.
| Étape | Action | Outil | Critère de validation |
|---|---|---|---|
| 1. Édition locale | Modifier le contenu de robots.txt | Éditeur de texte | Syntaxe correcte, pas d’espace superflu |
| 2. Vérification dans le navigateur | Accéder directement à https://domaine/robots.txt | Navigateur | Retour 200, contenu en texte brut |
| 3. Vérification avec l’outil de test GSC | Saisir l’URL cible, vérifier qu’elle est autorisée | Outil de test robots de la GSC | Toutes les pages importantes en Allow |
| 4. Surveillance après mise en ligne | Observer les statistiques de crawl et le rapport de couverture dans GSC | GSC | Pas de baisse anormale du volume de crawl |
| 5. Contrôle après refonte | Revérifier robots.txt après chaque refonte | GSC + navigateur | Les nouveaux chemins ne sont pas bloqués par erreur |
Checklist : après chaque modification de robots.txt, testez au minimum ces 5 URL : page d’accueil (/), page liste produits, page détail produit, page article de blog, page contact. Vérifiez que les 5 sont en Allow. Si l’une affiche Disallow, la règle est erronée — l’erreur la plus fréquente : un espace manquant après Disallow: /, ou Disallow: /products écrit alors que vous vouliez bloquer le sous-répertoire /products/spec/.
et Refonte du site et changement de domaine Le lien avec le changement de domaine : lors d’une migration, le robots.txt de l’ancien domaine ne doit pas bloquer tout le site avec un Disallow. Les redirections 301 de l’ancien domaine ont besoin que Googlebot vienne crawler les pages pour transmettre l’autorité. Si le robots.txt de l’ancien domaine contient Disallow: /, Google ne crawle pas les anciennes pages et ne peut donc pas lire l’instruction 301 : la transmission d’autorité est rompue. La bonne pratique consiste à laisser le crawl autorisé sur l’ancien domaine et à ne bloquer que les chemins fonctionnels comme admin.
FAQ — Questions fréquentes
Quelle différence entre robots.txt et noindex ?
Que signifie Disallow: / et pourquoi est-ce dangereux ?
Comment tester si un robots.txt est correctement rédigé ?
Le robots.txt peut-il protéger des pages sensibles des yeux de vos concurrents ?
Comment configurer le robots.txt de l’ancien domaine après un changement de domaine ?
Quand utiliser la directive Allow ?
Pour conclure
Le robots.txt est le petit fichier qui provoque le plus d’accidents SEO. Il ne fait que quelques lignes, mais une barre oblique mal placée et tout le site disparaît des résultats de recherche, avec une à deux semaines pour s’en remettre. Retenez deux principes clés : le robots.txt gère l’exploration, pas l’indexation ; pour empêcher l’indexation, utilisez noindex ; après toute modification, vérifiez avec l’outil de test de la GSC.
Trois étapes concrètes : cette semaine, ouvrez votre robots.txt dans un navigateur et vérifiez, par rapport à la configuration standard de cet article, qu’il ne contient pas Disallow: / ni de règles de blocage excessives ; la semaine suivante, vérifiez une à une avec l’outil de test robots de la GSC que toutes les pages importantes sont bien en Allow, et ajoutez la déclaration Sitemap à la fin du fichier ; ensuite, après chaque refonte ou modification de la structure d’URL, revérifiez le robots.txt sans attendre pour confirmer que les nouveaux chemins ne sont pas bloqués par erreur.
Une phrase à retenir : le robots.txt est un mot d’absence écrit à Google, pas une serrure : à trop en écrire, on risque de s’enfermer dehors ; les pages que vous voulez cacher doivent utiliser noindex, pas Disallow.