Le résultat de votre test A/B est-il réel ou dû au hasard ?
Taux de conversion, gain, valeur p et intervalle de confiance d’un test A/B, avec la taille d’échantillon nécessaire.
Votre saisie reste sur votre appareil pendant l’utilisation de cet outil. Ouvrir un lien partagé envoie les réglages de son adresse à HowToolbox pour préparer la page.
Paramètres du test
Gain de B par rapport à A
+25 %
Significatif avec un niveau de confiance de 95 % (p < 0,001) : une différence aussi grande serait improbable si A et B convertissaient autant.
Plus de détails sur le test
- Taux de conversion A
- 4 %
- Taux de conversion B
- 5 %
- Différence B − A
- +1 point de pourcentage
- Intervalle à 95 % de la différence
- De 0,43 à 1,57 points de pourcentage
- Valeur p
- < 0,001
- Visiteurs par variante pour une puissance de 80 %
- 6 745
La significativité indique seulement que la différence a peu de chances d’être due au hasard. Elle ne dit ni l’ampleur du vrai gain, ni que la modification l’a causé, ni qu’il durera. Fixez la taille d’échantillon avant de commencer et n’arrêtez pas le test dès qu’il paraît significatif.
Taux de conversion, gain, valeur p et intervalle de confiance d’un test A/B, avec la taille d’échantillon nécessaire.
Mode d’emploi
- Saisissez le nombre de visiteurs qui ont vu chaque variante et combien d’entre eux ont converti.
- Lisez le gain de B par rapport à A et si la différence est significative ; les détails donnent les deux taux, l’intervalle de la différence et la valeur p.
- Vérifiez le nombre de visiteurs nécessaires par variante ; ouvrez Paramètres du test pour changer le niveau de confiance, choisir un test unilatéral ou régler la puissance.
Comment ça marche
Un test A/B montre deux versions d’une page à des visiteurs différents et compare la fréquence de conversion de chacune. Même deux pages identiques obtiennent rarement exactement le même taux ; la question est donc de savoir si l’écart dépasse ce que le hasard seul produirait habituellement.
Le test regroupe les deux groupes en un seul taux p̂ et compare la différence à son erreur type : z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). La valeur p est la probabilité d’un écart au moins aussi grand si les deux versions convertissaient réellement autant. La méthode suit le NIST/SEMATECH e-Handbook ; la taille d’échantillon nécessaire pour une puissance donnée suit power.prop.test de R.
La significativité n’est pas la taille de l’effet : l’intervalle de la différence montre à quel point le vrai gain peut raisonnablement être grand ou petit. Fixez la taille d’échantillon avant le test, faites-le tourner par semaines entières et ne l’arrêtez pas dès qu’il devient significatif, sinon le hasard l’emporte bien plus souvent que le niveau de confiance ne le laisse penser.
Exemple de calcul
Quel est le gain relatif de 200 à 250 conversions pour 5 000 visiteurs ?
- A = 200 ÷ 5 000 = 4 %; B = 250 ÷ 5 000 = 5 %.
- (B − A) ÷ A = 25 %.
Gain relatif : 25 %. Le test bilatéral au niveau de confiance de 95 % donne p = 0,01587.
Sources
- R documentation: power.prop.testUtilisée pour : formule
Questions fréquentes
Que signifie une valeur p de 0,05 ?
Si A et B convertissaient vraiment au même taux, une différence au moins aussi grande apparaîtrait dans environ 5 % des tests. Ce n’est pas la probabilité que B soit meilleur.
Combien de visiteurs faut-il pour mon test A/B ?
Cela dépend des taux et du plus petit gain qui vaut la peine d’être détecté. Passer de 4 % à 5 % demande environ 6 745 visiteurs par variante pour une puissance de 80 % avec un niveau de confiance de 95 % ; des gains plus petits en demandent beaucoup plus.
Faut-il utiliser un test unilatéral ?
Seulement si vous avez décidé avant le test qu’une seule direction vous intéresse. Un test unilatéral atteint la significativité plus vite, mais il ne peut pas vous dire que B a empiré les choses.
Le test n’est pas significatif. Est-ce que A et B sont identiques ?
Non. Cela signifie que les données ne permettent pas encore de les distinguer. Avec trop peu de visiteurs, même une vraie différence ressemble souvent à du hasard.
Puis-je comparer le revenu par visiteur ?
Non. Ce test exige des résultats binaires : chaque visiteur convertit ou non. Les montants nécessitent un autre test statistique.
Pour aller plus loin
Autres outils de la catégorie Maths et nombres
- Addition de vecteurs, confidentiel, fonctionne sur votre appareil
- Aire des figures, confidentiel, fonctionne sur votre appareil
- Arrondi, confidentiel, fonctionne sur votre appareil
- Calcul de fractions, confidentiel, fonctionne sur votre appareil
- Calcul du PGCD et du PPCM, confidentiel, fonctionne sur votre appareil
- Calculateur d’écart type, confidentiel, fonctionne sur votre appareil





