Conception d’une expérience GEO : groupe témoin, choix des indicateurs, taille d’échantillon et significativité statistique
I. Pourquoi « regarder la hausse ou la baisse » ne constitue pas une conclusion en GEO
Dans l’e-commerce, un test A/B accumule plusieurs milliers d’impressions par jour, et une semaine suffit pour calculer la significativité. En GEO, on pose les mêmes questions à l’IA de façon répétée, et la taille d’échantillon totale est naturellement faible — 30 requêtes posées 3 fois ne donnent que 90 observations. Avec un si petit échantillon, comparer directement « 20 % avant, 28 % après » : un écart de 8 points de pourcentage peut très bien n’être qu’une fluctuation d’humeur du modèle cette semaine-là.
GEO ne peut donc pas reprendre tel quel le processus de p-value des tests A/B d’Internet : il faut passer à un cadre de décision « gain net + reproduction » : d’abord soustraire la variation générale du marché et celle des concurrents sur la même période pour obtenir le gain net ; ensuite exiger que ce gain net réapparaisse lors de la prochaine expérience répétée. La logique de conception de base d’une expérience GEO est présentée dans Conception d’une expérience GEO : hypothèses, variables et attribution, cet article ne complétant que les détails statistiques.
| Mise en œuvre | Question | Bonne pratique |
|---|---|---|
| Regarder la hausse ou la baisse une semaine après la modification | Échantillon trop petit, fluctuation aléatoire | Courir sur 6 à 8 semaines, déduire la ligne de base |
| Comparer seulement avant et après la modification | Ne pas déduire la tendance générale | Ajouter un témoin concurrent sur la même période |
| Rechercher un grand échantillon | Forcer des requêtes introduit du bruit supplémentaire | Fixer 30 à 50 requêtes |
| Conclure sur la p-value | La p-value est instable sur petit échantillon | Utiliser le gain net + la reproduction |
| Si ça monte, on fige | Peut-être une mise à jour de version | Il faut deux reproductions pour conclure |
II. Choix des indicateurs : un indicateur principal, deux garde-fous
Les indicateurs ne doivent pas être trop nombreux. Une expérience ne définit qu’un seul indicateur principal, sinon, une fois les résultats sortis, vous choisirez ceux qui sont beaux à rapporter, ce qui revient à ne rien faire. L’indicateur principal le plus courant en GEO est le taux de citation : la proportion de requêtes cibles dont la réponse mentionne votre nom de domaine ou votre marque.
Il y a deux indicateurs de garde-fou, dont le rôle est d’empêcher une « fausse victoire » de l’indicateur principal. Le premier est le rang de première citation : le taux de citation a augmenté, mais vous êtes passé de la première à la cinquième place, ce n’est pas une victoire. Le second est le taux d’erreur factuelle : le taux de citation a augmenté, mais les réponses commencent à mal citer les paramètres de votre produit ; c’est une catastrophe, pas une victoire. Si l’indicateur principal monte et qu’un garde-fou se dégrade, l’expérience est un échec.
| Niveau indicateur | Indicateur | Définition | Seuil de référence |
|---|---|---|---|
| Indicateur principal | Taux de citation | Part des réponses citant votre domaine ou votre marque | Gain net ≥ 10 points |
| Garde-fou 1 | Rang de première citation | Votre position dans les réponses | Baisse de 1 rang maximum |
| Garde-fou 2 | Taux d’erreurs factuelles | Part d’erreurs factuelles vous concernant dans les réponses | 5 % maximum |
| Référence | Taux d’apparition du nom de marque | Le nom de marque est-il correctement écrit dans les réponses | Tendance à la hausse suffisante |
Exemple concret : vous ajoutez trois comparatifs chiffrés au module FAQ, vous lancez le test sur six semaines, et votre taux de citation passe de 18 % à 31 %, soit un gain net de 13 points. Mais en relisant les réponses, vous découvrez que 4 requêtes annoncent un mauvais prix pour votre produit. L’indicateur principal dépasse alors le seuil, le garde-fou 2 franchit la ligne rouge, et l’expérience est déclarée négative : vous avez gagné du trafic, mais propagé de fausses informations. La prochaine version devra corriger les faits avant d’étendre la FAQ.
3. Concevoir le groupe témoin : série temporelle et double déduction concurrentielle
Un site B2B indépendant génère peu de trafic, ce qui rend impossible un vrai test A/B par répartition aléatoire. En GEO, on utilise deux types de groupes témoins. Le premier est le témoin en série temporelle : on mesure une base de 2 semaines, on met la modification en ligne, puis on mesure 6 semaines, et on compare l’écart avant/après. Le second est le témoin concurrentiel : on choisit deux ou trois concurrents du même secteur, sans lien avec votre modification, on leur fait passer le même jeu de questions sur la même période, et on regarde si leur taux de citation évolue en parallèle.
Utiliser les deux témoins ensemble est la méthode la plus fiable. Le gain net est égal à votre variation, moins la variation de la base, moins la variation des concurrents sur la même période. Si vous gagnez 13 points et que vos concurrents en gagnent 8 sur la même période, votre gain net réel n’est que de 5 points, sous le seuil de 10. Pour savoir comment comparer le contenu des concurrents, voir Analyse des 30 requêtes sur l’écart de contenu concurrentiel.
| Type de témoin | Mise en œuvre | Ce qu’il permet de déduire | Limites |
|---|---|---|---|
| Série temporelle | 2 semaines de base puis 6 semaines d’observation | Vos propres variations hebdomadaires | Ne déduit pas la tendance du secteur |
| Concurrents sur la même période | 2 à 3 concurrents sur le même jeu de questions | Version du modèle et engouement du secteur | Difficile à mesurer si les concurrents n’apparaissent pas dans vos requêtes |
| Témoin sur requêtes neutres | 5 à 8 requêtes sans lien | Bruit pur du modèle | Ne reflète pas la tendance du secteur |
| les combinent | Temps + concurrents + neutre | Déduit les trois niveaux de bruit | Coût d’échantillonnage un peu plus élevé |
4. Taille d’échantillon et durée d’expérience
Plus d’échantillons ne veut pas dire mieux. En GEO, la taille d’échantillon est limitée par le nombre de questions : 30 à 50 requêtes, c’est le point d’équilibre pour une équipe d’une personne, avec 3 passages par requête et la valeur modale retenue, soit 90 à 150 observations par cycle. Si vous forcez jusqu’à 200 requêtes, les requêtes ajoutées n’ont souvent aucun lien avec votre variable d’expérience et ne font que diluer le signal.
Ce qu’il faut vraiment allonger, c’est la durée. Les modèles connaissent des variations hebdomadaires, et une expérience de 6 à 8 semaines couvre un à deux cycles complets de variation. En dessous de 4 semaines, les conclusions ne valent que comme indication. Pour la logique de taille d’échantillon des tests A/B sur formulaire, voir Tests A/B sur formulaire : variables et taille d’échantillon, mais les contraintes d’échantillon en GEO sont plus strictes.
| Durée d’expérience | Semaines d’observation | Crédibilité | Pour |
|---|---|---|---|
| < 4 semaines | 1 à 2 semaines | Indication seulement | Repérage en pré-expérience |
| 6 semaines | 4 semaines d’observation | Crédibilité préliminaire | Expérience GEO courante |
| 8 semaines | 6 semaines d’observation | Assez fiable | Décision sur modification importante |
| > 10 semaines | — | Risque d’obsolescence | À éviter, le modèle a changé |
5. Jugement de significativité et erreurs d’interprétation courantes
Avec de petits échantillons, ne vous fiez pas aux p-values. Pour le GEO, un critère plus utile est de réunir trois conditions : un gain net d’au moins 10 points, deux semaines consécutives sans baisse, et une réplication lors de la prochaine expérience. Une réplication vaut vérification, deux réplications valent conclusion.
Trois erreurs fréquentes à éviter : premièrement, conclure au succès après une seule exécution en ignorant le hasard de l’échantillonnage ; deuxièmement, ne pas déduire la variation du groupe témoin et s’attribuer une hausse générale ; troisièmement, s’arrêter dès que l’indicateur principal monte en oubliant de vérifier les indicateurs de garde-fou. Pour réutiliser le jeu de questions sur le long terme, voir Suivi mensuel sur un ensemble de questions fixes.
| Situation | Signal | Verdict |
|---|---|---|
| Gain net ≥ 10 pp et réplication | Indicateur principal au-dessus du seuil, garde-fou stable | Action efficace, à figer |
| Gain net ≥ 10 pp mais garde-fou en baisse | Cité mais avec des faits erronés | Verdict négatif, corriger d’abord les faits |
| En hausse, mais les concurrents aussi | Dérive synchrone du marché | Après déduction, sous le seuil, inefficace |
| Une seule exécution et ça monte | Hasard d’un seul échantillonnage | Douteux, réplication nécessaire |
| Gain net < 5 pp | Plage de bruit | Ne rien faire, continuer à observer |
FAQ — Questions fréquentes
Pourquoi les expériences GEO ne peuvent-elles pas utiliser les p-values d’un test A/B classique ?
La taille d’échantillon est-elle toujours meilleure quand elle est plus grande ? Préparer plus de requêtes est-il plus fiable ?
Comment choisir l’indicateur principal et les indicateurs de garde-fou ?
Sans gros trafic, impossible de faire un test A/B par répartition : comment établir un contrôle en GEO ?
À partir de quel gain net peut-on considérer que c’est vraiment efficace ?
Que faire si le modèle est mis à jour en pleine expérience ?
Pour conclure
La pensée statistique des expériences GEO ressemble en surface aux tests A/B des équipes de croissance du web, mais elle est fondamentalement différente. Un test web mise sur un essai contrôlé randomisé sur grand échantillon ; le GEO mise sur une reproduction longue sur petit échantillon. Petit échantillon : inutile de calculer une p-value de force. Allongez l’expérience, complétez les témoins, fixez les seuils une fois pour toutes, et la conclusion n’en sera que plus fiable.
Trois étapes pour passer à l’action : chaque trimestre, ne définir qu’un indicateur principal (le taux de citation, de préférence) et deux garde-fous ; déduire le gain net par séries temporelles avec double contrôle concurrentiel ; ne généraliser qu’à partir de 10 points de gain net reproduits deux fois. La méthode complète est ici Conception d’expérience GEO et Pratique du GEO.
Une phrase à retenir : en GEO, « ça a augmenté » ne compte pas ; ce qui compte, c’est « une fois la tendance générale déduite, ça augmente encore, et ça se reproduira la prochaine fois ». Sur petit échantillon, c’est la discipline qui parle, pas la chance.