Suivi mensuel sur un panel de questions fixe : comment quantifier le taux de citation par l’IA
1. Le point faible du GEO : des résultats qu’on ne peut pas réfuter
Dans les services de GEO, la phrase la plus courante est : « l’IA vous mentionne maintenant ». Elle est presque impossible à contredire : changez de question, de modèle ou de jour, et la conclusion peut s’inverser. Elle ne prouve ni l’efficacité ni l’inefficacité.
Le problème vient de la méthode de prélèvement : on improvise une question, on la pose une fois, on jette un œil à la réponse. Avec un échantillon de 1, le hasard l’emporte largement sur le signal : conclure sur un seul résultat, c’est tirer à pile ou face.
Pour rendre la mesure réfutable, il faut figer quatre choses :
| Élément | Sans cadre fixe | Avec un cadre fixe |
|---|---|---|
| Panel de questions | Une question différente à chaque fois, aucune comparaison possible | Le même panel comparé mois par mois, une tendance lisible |
| Modèles et points d’entrée | Changer de modèle, c’est changer d’environnement : résultats incomparables | Même modèle, même point d’entrée : les variations viennent du contenu |
| Fenêtre de prélèvement | Prélever sur des semaines différentes expose aux rythmes du secteur | La même semaine chaque mois élimine le bruit saisonnier |
| Comptes et état de connexion | L’état de connexion et la région modifient les réponses | Même état de compte : moins de variables d’environnement |
L’objectif de cette méthode n’est pas de sortir un chiffre précis du type « taux de citation de 23 % », mais de déterminer une direction. Un écart mensuel inférieur à 5 points ne vaut pas conclusion ; seule une évolution dans le même sens sur trois mois consécutifs constitue un signal. Cette limite doit être posée d’emblée, sinon le rapport devient lui-même une autre forme d’enfumage. La méthode observe uniquement « si vous apparaissez dans la réponse », pas « combien de personnes vous voient » : l’exposition et les clics relèvent d’un autre circuit et se mesurent séparément. Ce protocole, nous l’avons éprouvé sur les sites de plusieurs clients ;Cratère la documentation de la méthode contient un index associé.
2. Comment construire le panel de questions : trois niveaux, environ 40 questions
Le panel de questions est le cœur de cette méthode. Il doit remplir trois conditions : des formulations que de vrais acheteurs emploieraient, une couverture complète du parcours, de la découverte à la décision, et des membres relativement stables.
Nous recommandons de le structurer en trois niveaux, pour un total d’environ 40 questions :
| Niveau | Type de question | Nombre | Exemple de formulation | Ce qu’on y observe |
|---|---|---|---|---|
| Premier niveau | Questions sur la marque | 10 à 12 questions | Que fait une entreprise, que vaut le produit d’une marque | La marque est-elle connue des modèles, l’entité est-elle claire |
| Deuxième niveau | Questions génériques de catégorie | 12 à 15 questions | Comment choisir tel type d’équipement, quelle tolérance peut atteindre tel procédé | La marque entre-t-elle dans le pool de candidats de la catégorie |
| Troisième niveau | Questions de décision d’achat | 12 à 15 questions | Comment sélectionner un fournisseur chinois, quel est le délai habituel pour tel type de produit | La marque apparaît-elle dans les réponses au stade de l’achat |
Les trois niveaux n’ont pas du tout la même fonction. Le premier mesure la notoriété, le deuxième la couverture de catégorie, le troisième le stade de l’achat.Tester uniquement les mots de marque donne des résultats artificiellement gonflés— le modèle connaît peut-être votre nom, mais il ne vous cite pas une seule fois dans les questions où l’acheteur décide vraiment.
D’où viennent les questions ? Ne travaillez pas en vase clos : puisez dans les quatre sources ci-dessous.
| Source | Comment les obtenir | Part recommandée | Valeur |
|---|---|---|---|
| Questions réellement posées aux commerciaux | Extraire les formulations exactes des demandes de devis et des historiques de discussion | 40 % | La formulation la plus authentique |
| Recherches internes au site | Dédupliquer les logs de recherche du back-office et retenir les 30 premières | 20 % | Révèle les intentions non couvertes des visiteurs actuels |
| Suggestions et questions associées dans les IA | Saisir un mot de catégorie et observer les questions complétées par le modèle | 25 % | Reflète les formulations dominantes du moment |
| Position des concurrents dans les réponses | Noter les formulations et les contextes où les concurrents sont cités | 15 % | Identifier les angles morts de la concurrence |
Une fois le corpus de questions arrêté, ne le modifiez pas à la légère. Pour tout ajout, procédez par remplacement et non par ajout : ajoutez 2 questions, retirez-en 2, et notez la date du remplacement. Sinon, dans trois mois, vous aurez une liste impossible à comparer dans le temps.
III. Discipline d’échantillonnage : cinq paramètres fixes
La méthode tient par la discipline. Les cinq paramètres ci-dessous doivent rester fixes à chaque prélèvement ; si l’un d’eux change, les données de la période doivent être signalées à part.
| Paramètre fixe | Exigences concrètes | En cas d’écart |
|---|---|---|
| Modèles et points d’entrée fixes | Choisir 2 à 3 modèles, noter la version exacte et le type de point d’entrée | Les données obtenues après un changement de modèle sont présentées dans une colonne distincte, sans comparaison directe avec la période précédente |
| Formulations fixes | Utiliser mot pour mot le texte du corpus, sans reformuler ni ajouter de qualificatif | Les résultats reformulés ne comptent pas pour la période |
| Fenêtre temporelle fixe | Le lundi de la même semaine chaque mois, en matinée | Les données décalées de plus de 3 jours sont signalées comme anomalies |
| État du compte fixe | Même compte, même environnement réseau, même activation ou non de la connexion internet | Rétablir une base de référence en cas de changement d’état |
| Conservation fixe | Conserver la question d’origine et le texte intégral de la réponse, avec capture d’écran | Les données sans enregistrement d’origine sont considérées comme non valides |
Pour les formulations, deux options existent. La formulation brute reprend la question telle quelle : plus proche de l’usage réel, mais les réponses sont plus aléatoires. La formulation qualifiée ajoute « listez les fournisseurs » après la question : elle déclenche plus facilement une mention de marque, mais le résultat est trop optimiste.Nous recommandons de privilégier la formulation brute ; la formulation qualifiée ne sert qu’en complément pour évaluer le pool de candidats de la catégorie. Consignez les deux résultats séparément, sans les fusionner en un seul indicateur. Présenter des chiffres flatteurs obtenus avec la formulation qualifiée revient à se fabriquer soi-même une fausse base de référence.
Autre règle : on ne pose chaque question qu’une seule fois, sans insister jusqu’à obtenir la réponse souhaitée. Pour vérifier la stabilité d’une réponse, on attend la session suivante.
4. Définition des cinq indicateurs mesurables
Les définitions doivent être figées avant de commencer, sinon chaque relevé utilise une méthode différente. Voici les cinq indicateurs que nous utilisons.
| Indicateur | Définition | Mode de calcul | Période d’observation |
|---|---|---|---|
| Taux de mention | Proportion de réponses contenant le nom de la marque | Nombre de questions avec mention ÷ nombre total de questions | Mensuel |
| Taux de première mention | Proportion de réponses où la marque est le premier élément cité | Nombre de premières mentions ÷ nombre total de questions | Mensuel |
| Taux de citation de la source | Proportion de réponses dont les sources citées incluent le site officiel | Nombre de questions citant le site officiel ÷ nombre de questions mentionnant la marque | Mensuel |
| Taux d’exactitude des réponses | Proportion de réponses dont la description de votre entreprise correspond aux faits | Nombre de questions avec description correcte ÷ nombre de questions mentionnant la marque | Mensuel |
| Taux de victoire en comparaison concurrentielle | Proportion de réponses plus favorables lorsque la marque apparaît aux côtés d’un concurrent désigné | Nombre de réponses favorables ÷ nombre de questions avec cooccurrence | Mensuel |
Trois détails de définition méritent une explication séparée.Le dénominateur du taux de mention est l’ensemble des questions, un dénominateur commun permet les comparaisons d’un mois à l’autre ;le dénominateur du taux de citation de la source est le nombre de questions mentionnant la marque, sinon il est dilué par les nombreuses questions sans mention ;le taux d’exactitude des réponses exige une référence humaine: rédigez à l’avance une fiche de vérification factuelle listant capacité de production, certifications, quantité minimale de commande, délais et autres faits vérifiables, à comparer point par point.
Voici les plages de référence des cinq indicateurs (exemple du secteur industriel) :
| Indicateur | Plage de référence au premier trimestre | Plage de référence après six mois | Explication |
|---|---|---|---|
| Taux de mention | 5 %–15 % | 15 %–35 % | Fortement dépendant de l’intensité concurrentielle du secteur |
| Taux de première mention | 0 %–5 % | 5 %–15 % | Généralement faible dans les secteurs à panier moyen élevé |
| Taux de citation de la source | 10 %–30 % | 30 %–60 % | Lié à la structure du contenu du site officiel |
| Taux d’exactitude des réponses | 40 %–70 % | 70 %–90 % | Erreurs de description fréquentes en phase de démarrage |
| Taux de victoire en comparaison concurrentielle | 20 %–40 % | 40 %–60 % | Petit échantillon : observer la tendance, pas la valeur absolue |
5. Règles de décision et seuils : y compris « données insuffisantes pour décider »
Avec les données, il faut aussi des règles de décision. Sans règles, chaque lecteur interprète le rapport à sa façon. Nous répartissons les décisions en quatre niveaux, dont un intitulé explicitement « données insuffisantes pour décider ».
Décision par question :
| État | Critère | Enregistrement |
|---|---|---|
| Mention avec citation du site officiel | La réponse mentionne la marque et cite le site officiel | 3 points |
| Mention sans citation | La réponse mentionne la marque, mais pas le site officiel parmi les sources | 2 points |
| Aucune mention | Le nom de la marque n’apparaît pas dans la réponse | 0 point |
| Réponse erronée | La marque est mentionnée, mais un fait vérifiable est décrit de façon erronée | Marquée à part, non comptabilisée |
| Impossible à décider | La réponse reste vague ou hors sujet | Marquée comme non valide, écartée pour la session |
Décision sur la conclusion globale :
| Conclusion | Condition | Communication externe possible ? |
|---|---|---|
| Amélioration nette | Hausse du taux de mention d’au moins 5 points par rapport à la période précédente, sur deux sessions consécutives dans le même sens | Oui |
| Amélioration possible | Hausse inférieure ou égale à 5 points, ou sur une seule session | Non, indiquer « à surveiller » |
| Aucun changement notable | Variation dans une fourchette de plus ou moins 3 points | Non, indiquer « aucun changement » |
| Données insuffisantes pour décider | Moins de 30 réponses valides, ou changement de modèle ou de formulation en cours de session | Non, préciser le motif |
« Données insuffisantes pour conclure » est indispensable à un rapport honnête. Trois cas déclenchent généralement cette mention : moins de 30 réponses valides sur la période, un changement de version du modèle qui fait évoluer le style des réponses, ou une discipline d’échantillonnage rompue (questions reformulées, comptes différents). Dans ces trois cas, forcer une conclusion fait plus de dégâts que de s’en abstenir : on ajuste son contenu dans la mauvaise direction.
Un autre principe de jugement est souvent négligé :traiter la baisse du taux d’exactitude avant celle du taux de mention. Si le modèle vous mentionne beaucoup mais vous présente comme un autre type de fournisseur, ou se trompe sur vos capacités et vos certifications, cette mention est un passif. La priorité est alors de corriger la source des faits, pas d’augmenter encore le taux de mention.
VI. Du suivi à l’action
Le suivi n’a de valeur que s’il débouche sur des actions concrètes. Voici les règles de correspondance que nous appliquons : à chaque symptôme, une action.
| Le phénomène | Diagnostic | Action prioritaire | Fenêtre d’observation |
|---|---|---|---|
| Taux de mention faible, exactitude normale | Densité de corpus insuffisante, le modèle manque de matière | Augmenter la densité de contenu factuel sur le site : caractéristiques, certifications, détails de fabrication | 8 à 12 semaines |
| Mentions présentes, aucune source citée | Le contenu est lisible, mais sa structure n’est pas extractible | Ajouter des paragraphes de conclusion, des tableaux, une FAQ pour regrouper les faits | 4 à 8 semaines |
| Taux d’exactitude faible | Source des faits erronée ou obsolète | Corriger les descriptions erronées sur le site et dans les sources publiques | 4 à 8 semaines |
| La marque ressort sur les requêtes de marque, pas sur celles de catégorie | Entité claire, couverture de la catégorie insuffisante | Ajouter du contenu de sélection et de comparaison au niveau de la catégorie | 8 à 12 semaines |
| La catégorie ressort, pas les requêtes d’achat | Contenu manquant sur l’étape de décision | Ajouter les préoccupations d’achat : délais, MOQ, certifications, service après-vente | 8 à 12 semaines |
| Les concurrents sont mentionnés, pas vous | Ils ont du contenu explicite sur certaines formulations | Créer les pages correspondant à ces formulations précises | 8 à 12 semaines |
| Aucun indicateur ne bouge | Mise à jour du contenu à l’arrêt, ou problème de canal | Vérifier d’abord si le contenu a été mis à jour et si les robots sont venus le lire | 4 semaines |
Mode d’emploi de ce tableau : après chaque rapport mensuel, ne retenez que le premier symptôme de la liste et agissez dessus. Ne modifiez pas trois choses à la fois.Ne changez qu’une variable à la fois : le mois suivant, vous saurez laquelle a produit l’effet. Modifier en même temps la structure du contenu, la fréquence de mise à jour et la description des faits rend toute amélioration inexploitable.
Cinq actions accompagnent le contenu : rédiger les faits clés en paragraphes autonomes, ajouter 5 à 8 questions FAQ par page, créer des pages dédiées aux certifications et à la conformité, harmoniser la formulation de la marque et les informations d’entité, produire des versions multilingues. Les délais d’effet vont le plus souvent de 4 à 24 semaines, les plus longs étant les plus lents.
VII. Modèle de rapport, durée de conservation et cas non applicables
Le rapport doit être court. Un tableau d’une page et une archive suffisent à décider.
| Section du rapport | Contenu | Longueur |
|---|---|---|
| Conclusion de la période | Une ligne de conclusion, issue des quatre niveaux de jugement | 1 ligne |
| Tableau des cinq indicateurs | Valeur de la période comparée à la précédente, avec le sens de variation | 1 tableau |
| Liste des anomalies | Questions dont la réponse est erronée ou indéterminable, listées une par une | 3 à 8 lignes |
| Action du cycle | Une seule action, issue du tableau de correspondance | 1 ligne |
| Point de vérification du cycle suivant | L’indicateur unique qui confirme si l’action du cycle a porté ses fruits | 1 ligne |
Exigences de conservation des données brutes :
| Élément conservé | Durée de conservation | Utilité |
|---|---|---|
| Questions posées et texte intégral des réponses | 12 mois | Vérification, traçabilité des changements de périmètre |
| Captures d’écran des réponses | 12 mois | Réponse aux contestations externes |
| Tableau des indicateurs mensuels | Long terme | Suivre la tendance annuelle |
| Historique des versions du jeu de questions et tableau de validation des faits | Long terme | Garantir la comparabilité dans le temps et la fiabilité du diagnostic |
Conserver les données 12 mois n’est pas un hasard : les effets d’une mise à jour de modèle se manifestent souvent avec retard, et ce n’est qu’au bout de six mois qu’on découvre un palier dans les données. Sans les réponses d’origine, impossible de savoir si ce changement vient du contenu ou du modèle.
Cette méthode ne s’applique pas dans trois cas. Premièrement, la langue du jeu de questions ne correspond pas au marché visé : interroger un marché germanophone avec des questions en anglais n’a aucun sens. Deuxièmement, le contenu citable du site en est encore à ses débuts : le test ne donnera qu’une série de zéros, il faut d’abord produire du contenu. Troisièmement, on utilise le suivi comme outil de recette — il ne peut pas servir à prouver combien une livraison a « apporté », et dès qu’on l’emploie ainsi, la discipline d’échantillonnage se relâche et les données perdent toute crédibilité.
FAQ — Questions fréquentes
Pour conclure
Si le GEO devient facilement une dépense difficile à justifier, c’est qu’il n’offre ni les données en temps réel de la publicité, ni la position claire d’un classement. Or la méthode du jeu de questions fixe échange en somme de la discipline contre de la crédibilité :avec le même groupe de questions, la même formulation et la même fenêtre temporelle, on rend comparable ce qui est aléatoire.
Elle ne peut promettre un résultat précis à la décimale, ni conclure à un gain multiplié par tel facteur. Elle dit seulement trois choses : ce mois-ci, c’est mieux, moins bien ou identique au mois dernier ; sur quelles questions vous apparaissez et sur lesquelles non ; et s’il faut ensuite modifier le contenu, la structure ou les faits.
Ce n’est que lorsqu’on peut dire honnêtement que les données ne suffisent pas à trancher que la méthode fonctionne vraiment. Pour commencer par constituer le jeu de questions, vous pouvez piocher de vraies questions posées dans les thèmes de la rubrique Insights du site, puis compléter selon les trois niveaux ci-dessus. Si vous souhaitez définir ensemble le jeu de questions et les critères de mesure, vous pouvez Contactez-nous.