Concevoir un test A/B sur les demandes de devis : choix des variables, calcul de la taille d’échantillon et signification statistique
1. Choix des variables : commencez par celles qui pèsent le plus, pas par la couleur
Beaucoup d’équipes démarrent leurs tests A/B par « bouton rouge ou bouton bleu ». C’est prendre le problème à l’envers. La couleur d’un bouton influence généralement le taux de conversion à moins de 5 %, alors que changer une phrase dans le titre du premier écran peut peser plus de 30 %. Sur un site B2B en propre avec un trafic limité, il faut consacrer le peu de visites disponibles aux variables qui pèsent le plus.
Le critère de priorité est simple : si cette variable change, l’acheteur va-t-il se demander s’il doit continuer à lire ? Si oui, priorité haute ; si cela change seulement l’apparence sans peser sur sa décision, priorité basse. Le titre du premier écran, le texte du bouton d’appel à l’action principal et le nombre de champs du formulaire influencent directement la décision de conversion : ils passent en premier.
| Priorité | Type de variable | Impact attendu sur le taux de conversion | Quand le tester |
|---|---|---|---|
| Élevée | Titre et sous-titre du premier écran | 20 %-40 % | Priorité 1 |
| Élevée | Texte et position du bouton d’appel à l’action principal | 15 %-30 % | Juste après le titre |
| Élevée | Nombre de champs du formulaire (5 vs 8) | 15 %-25 % | Variable clé de la page d’atterrissage |
| Moyenne | Position et nombre des éléments de réassurance | 5 %-15 % | Après les grandes variables |
| Moyenne | Position de la section de références clients | 5 %-10 % | Quand il reste du trafic |
| Faible | Couleur du bouton, police, espacements | 0 %-5 % | Seulement avec beaucoup de trafic |
Les tests liés au formulaire font l’objet d’un article dédié, voir Test A/B de formulaire ; cet article porte sur les champs et la mise en page du formulaire. Ici, nous traitons de la conception des tests sur la page d’atterrissage au sens large. Avant de tester, utilisez d’abord l’analyse par carte de chaleur des demandes de devis pour identifier où se produit réellement la perte, puis décidez quoi tester : n’inventez pas une hypothèse au hasard avant de lancer un test.
2. Calcul de la taille d’échantillon : combien de visites faut-il
C’est l’étape la plus souvent négligée d’un test A/B, et aussi la plus dangereuse. Beaucoup lancent leur test aujourd’hui, et trois jours plus tard, voyant que le groupe B affiche quelques points de pourcentage de plus, décrètent que B a gagné. Cette conclusion est fausse dans 90 % des cas, car l’échantillon est trop petit : de simples fluctuations aléatoires suffisent à créer une fausse « différence significative ».
La taille de l’échantillon dépend de trois chiffres : le taux de conversion de référence (votre taux actuel), la plus petite amélioration que vous voulez détecter (par exemple une hausse relative de 20 %) et le seuil de signification statistique (généralement 95 %, soit p inférieur à 0,05). Sur un site B2B indépendant, le taux de conversion des demandes de contact se situe généralement entre 1 % et 5 %. Le tableau ci-dessous donne un aperçu rapide pour cette plage.
| Taux de conversion de base | Amélioration relative à détecter | Visiteurs nécessaires par groupe | Durée approximative (10 000 visites/mois) |
|---|---|---|---|
| 1 % | 20 % (pour atteindre 1,2 %) | environ 25 000 visites/groupe | plus de 50 jours |
| 2 % | 20 % (pour atteindre 2,4 %) | environ 12 000 visites/groupe | plus de 25 jours |
| 5 % | 20 % (pour atteindre 6 %) | environ 4 500 visites/groupe | plus de 9 jours |
| 10 % | 20 % (pour atteindre 12 %) | environ 2 000 visites/groupe | plus de 4 jours |
| 2 % | 50 % (pour atteindre 3 %) | environ 3 500 visites/groupe | plus de 7 jours |
Remarquez la dernière ligne : si l’amélioration à détecter est importante (par exemple passer de 2 % à 3 %), la taille de l’échantillon est bien plus petite. À l’inverse, si vous voulez détecter une différence de moins de 5 %, du type « bouton rouge contre bouton bleu », l’échantillon devient irréaliste. C’est pourquoi un site à faible trafic ne doit pas tester de petits changements : même en six mois, vous n’obtiendrez pas de conclusion statistiquement significative.
Autre règle empirique : chaque groupe doit compter au moins 100 conversions. Si le groupe A reçoit 5 000 visites, à 2 % de conversion cela ne fait que 100 conversions, et le groupe B aussi. Dans ce cas, quelques conversions d’écart entre les deux groupes rendent la valeur p totalement peu fiable. C’est aussi pourquoi les sites à faible trafic gagnent à utiliser des méthodes qualitatives (entretiens utilisateurs, heatmaps) plutôt qu’un test A/B rigoureux. Pour la méthodologie complète de conception d’expérience, voir Conception d’expérience GEO et son approche des hypothèses et de l’attribution.
III. Signification statistique : comment savoir si le résultat a vraiment gagné
Une fois la taille d’échantillon prédéfinie atteinte, calculez la valeur p avec un test du chi carré ou un test Z. Le seuil est p inférieur à 0,05, soit 95 % de confiance, pour considérer la différence comme significative. Si p se situe entre 0,05 et 0,1, on peut seulement parler de « tendance », sans conclure ; si p est supérieur à 0,1, la différence entre les deux groupes est très probablement due au hasard.
Un autre piège fréquent est le « biais du coup d’œil » : à mi-parcours, vous ne résistez pas à l’envie de regarder les données, vous constatez que le groupe B mène et vous arrêtez le test prématurément. Chaque coup d’œil augmente la probabilité de faux positif : en regardant cinq fois de suite, le taux de faux positifs peut passer de 5 % à plus de 20 %. La bonne méthode consiste à fixer la taille d’échantillon et la durée du test avant de commencer, à ne rien regarder en cours de route et à lire les résultats une seule fois, à la fin.
| Plage de p | Signification statistique | Décision |
|---|---|---|
| p < 0.01 | Très fortement significatif | Vous pouvez mettre en ligne la nouvelle version en toute confiance |
| 0.01 ≤ p < 0.05 | Significatif | Vous pouvez mettre en ligne et continuer à observer |
| 0.05 ≤ p < 0.1 | Tendance non significative | Impossible de conclure : prolongez le test ou abandonnez |
| p ≥ 0.1 | Aucune différence | Les deux groupes sont globalement identiques : gardez la version originale |
Exemple concret : un site industriel remplace le titre de sa page d’accueil, passant de « Fabricant de capteurs professionnels » à « Capteurs de pression à ±0,1 % de précision pour les équipementiers ». Avant de lancer le test, on calcule qu’il faut 12 000 visites par groupe. Au dixième jour, les données montrent que le taux de conversion du groupe B est passé de 2 % à 2,8 %, avec une valeur p de 0,03.
À ce stade, pas de précipitation : il faut vérifier que chaque groupe a bien atteint 12 000 visites. Si ce n’est pas le cas, on continue jusqu’au nombre de visites requis. Si c’est le cas et que la valeur p reste inférieure à 0,05, on peut alors mettre en ligne la nouvelle version.
4. La discipline d’exécution : ne tester qu’une seule variable à la fois
Voici le constat contre-intuitif de cet article :tester trois variables en même temps donne l’impression d’être trois fois plus efficace, alors qu’en réalité on ne mesure rien du tout. Imaginons que vous modifiez simultanément le titre, la couleur du bouton et la longueur du formulaire, et que le taux de conversion du groupe B augmente de 30 %. Vous ne savez pas quelle modification est responsable : peut-être le nouveau titre, peut-être le formulaire raccourci, ou peut-être simplement une fluctuation du trafic. La prochaine fois que vous voudrez optimiser autre chose, vous n’aurez aucune conclusion réutilisable.
Ne tester qu’une variable à la fois présente un autre avantage : les conclusions s’accumulent. Ce mois-ci, vous testez le titre, vous gagnez. Le mois suivant, vous testez le bouton, vous gagnez. Au bout de six mois, vous disposez d’une version optimale validée. En testant plusieurs variables à la fois, six mois plus tard, vous tournez toujours en rond.
| Règles de discipline | Erreur à éviter | Bonne pratique |
|---|---|---|
| Une seule variable | Modifier en même temps le titre, le bouton et le formulaire | Ne changer qu’un seul élément à la fois, les autres restent identiques |
| Définir le nombre de visites à l’avance | S’arrêter dès que les données semblent suffisantes | Calculer avant le lancement et ne s’arrêter qu’au moment prévu |
| Ne pas regarder les résultats en cours de route | Consulter les données une fois par jour | Lire les résultats en une seule fois à la fin de la période de test |
| Répartir le trafic de manière uniforme | Ne faire tourner le test qu’à moitié pendant les jours ouvrés | Couvrir au moins une semaine complète |
| Exclure le trafic anormal | Inclure le trafic de test interne | Filtrer les IP internes et le trafic des robots |
La période de test doit couvrir au moins une semaine complète. Le comportement des acheteurs B2B varie fortement entre la semaine et le week-end : en semaine, ce sont des responsables achats qui font des recherches, le week-end, ce sont peut-être des visiteurs qui naviguent sans but. Tester uniquement du lundi au vendredi ferait manquer les caractéristiques du trafic du week-end ; tester uniquement un week-end donnerait un échantillon non représentatif des jours ouvrés. La durée minimale recommandée est de 7 jours, idéalement 14 jours, pour éliminer les variations liées au jour de la semaine.
5. Solutions alternatives pour les sites à faible trafic
Beaucoup de sites B2B indépendants ne reçoivent que 3 000 à 5 000 visites par mois. Avec les exigences d’échantillon ci-dessus, un test prendrait trois mois, ce qui n’est pas réaliste. Dans ce cas, s’acharner sur un test A/B est une perte de temps : il faut changer de méthode.
| Trafic mensuel | Méthode recommandée | Méthode déconseillée |
|---|---|---|
| Moins de 5 000 | Entretiens utilisateurs (5 à 8), cartes de chaleur, analyse d’enregistrements d’écran | Test A/B rigoureux (pas de résultat significatif possible) |
| 5 000 à 20 000 | Test sur une seule variable, avec un fort impact (30 % et plus) | Test de petites différences (moins de 10 %) |
| 20 000 à 100 000 | Tests A/B classiques possibles, 1 à 2 par mois | Lancer plus de 3 tests en même temps |
| Plus de 100 000 | Tests multivariés, tests avec répartition du trafic | — |
Avec un faible trafic, la bonne approche consiste à remplacer les tests quantitatifs par des méthodes qualitatives : interrogez 5 à 8 acheteurs réels pendant 20 minutes en leur demandant « que cherchez-vous sur cette page et pourquoi n’avez-vous pas rempli le formulaire ? », puis utilisez un outil d’enregistrement d’écran pour observer le parcours de plusieurs dizaines de visiteurs réels. Avec un faible trafic, ces méthodes donnent des réponses plus fiables que les tests A/B.
Voir la référence de performance sur Core Web Vitals Réglez d’abord les problèmes matériels comme la vitesse de chargement, puis passez aux tests fins.
FAQ — Questions fréquentes
Combien de variables faut-il tester à la fois dans un test A/B ?
Combien de temps et de visites faut-il pour que ce soit suffisant ?
Comment savoir si un test A/B a vraiment gagné ?
Passer le bouton au rouge augmente-t-il vraiment la conversion ?
Avec seulement quelques milliers de visites par mois, faut-il faire des tests A/B ?
Quel trafic faut-il filtrer dans un A/B test ?
Pour conclure
L’A/B test ressemble à une méthode scientifique, mais ce qui compte vraiment, c’est la discipline d’exécution. La plupart des équipes n’obtiennent pas de conclusions fiables non pas parce qu’elles ne connaissent pas les statistiques, mais parce qu’elles sont trop pressées : pressées de voir un résultat, pressées de crier victoire, pressées de tester plusieurs variables à la fois. Tenez la discipline : une seule variable modifiée par test, un échantillon suffisant, et une lecture des résultats à l’échéance prévue. Au bout de six mois, vous aurez accumulé une expérience d’optimisation réutilisable.
Trois étapes pour passer à l’action : classez d’abord les variables par ordre de priorité selon leur impact, en commençant par le titre de la première section ; avant de lancer le test, utilisez un calculateur de taille d’échantillon pour déterminer le nombre de visites nécessaires par groupe et la durée du test ; pendant le test, ne regardez pas les résultats en cachette, calculez la p-value à l’échéance, et si le résultat est significatif, déployez la nouvelle version, sinon gardez l’originale. En dessous de 5 000 visites par mois, ne touchez pas à l’A/B test : utilisez plutôt des entretiens utilisateurs et des heatmaps.
Une phrase à retenir : le coût le plus élevé d’un A/B test n’est pas l’abonnement à l’outil, mais les six mois passés sans rien tester de concluant. Une seule variable à la fois et un échantillon suffisant avant de conclure : ces deux règles comptent plus que n’importe quel outil.