Calculateur de significativité de test A/B
Argent et financesLe résultat de votre test A/B est-il réel ou dû au hasard ?
Taux de conversion, gain, valeur p et intervalle de confiance d’un test A/B, avec la taille d’échantillon nécessaire.
Votre saisie reste sur votre appareil pendant l’utilisation de cet outil. Ouvrir un lien partagé envoie les réglages de son adresse à HowToolbox pour préparer la page.
Paramètres du test
Gain de B par rapport à A
+25 %
Significatif avec un niveau de confiance de 95 % (p < 0,001) : une différence aussi grande serait improbable si A et B convertissaient autant.
Plus de détails sur le test
- Taux de conversion A
- 4 %
- Taux de conversion B
- 5 %
- Différence B − A
- +1 points de pourcentage
- Intervalle à 95 % de la différence
- De 0,43 à 1,57 points de pourcentage
- Valeur p
- < 0,001
- Visiteurs par variante pour une puissance de 80 %
- 6 745
La significativité indique seulement que la différence a peu de chances d’être due au hasard. Elle ne dit ni l’ampleur du vrai gain, ni que la modification l’a causé, ni qu’il durera. Fixez la taille d’échantillon avant de commencer et n’arrêtez pas le test dès qu’il paraît significatif.
Liens sponsorisés
Taux de conversion, gain, valeur p et intervalle de confiance d’un test A/B, avec la taille d’échantillon nécessaire.
Mode d’emploi
- Saisissez le nombre de visiteurs qui ont vu chaque variante et combien d’entre eux ont converti.
- Lisez le gain de B par rapport à A et si la différence est significative ; les détails donnent les deux taux, l’intervalle de la différence et la valeur p.
- Vérifiez le nombre de visiteurs nécessaires par variante ; ouvrez Paramètres du test pour changer le niveau de confiance, choisir un test unilatéral ou régler la puissance.
Liens sponsorisés
Comment ça marche
Un test A/B montre deux versions d’une page à des visiteurs différents et compare la fréquence de conversion de chacune. Même deux pages identiques obtiennent rarement exactement le même taux ; la question est donc de savoir si l’écart dépasse ce que le hasard seul produirait habituellement.
Le test regroupe les deux groupes en un seul taux p̂ et compare la différence à son erreur type : z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). La valeur p est la probabilité d’un écart au moins aussi grand si les deux versions convertissaient réellement autant. La méthode suit le NIST/SEMATECH e-Handbook ; la taille d’échantillon nécessaire pour une puissance donnée suit power.prop.test de R.
La significativité n’est pas la taille de l’effet : l’intervalle de la différence montre à quel point le vrai gain peut raisonnablement être grand ou petit. Fixez la taille d’échantillon avant le test, faites-le tourner par semaines entières et ne l’arrêtez pas dès qu’il devient significatif, sinon le hasard l’emporte bien plus souvent que le niveau de confiance ne le laisse penser.
Exemple de calcul
Quel est le gain relatif de 200 à 250 conversions pour 5 000 visiteurs ?
- A = 200 ÷ 5 000 = 4 %; B = 250 ÷ 5 000 = 5 %.
- (B − A) ÷ A = 25 %.
Gain relatif : 25 %. Le test bilatéral au niveau de confiance de 95 % donne p = 0,01587.
Questions fréquentes
Que signifie une valeur p de 0,05 ?
Si A et B convertissaient vraiment au même taux, une différence au moins aussi grande apparaîtrait dans environ 5 % des tests. Ce n’est pas la probabilité que B soit meilleur.
Combien de visiteurs faut-il pour mon test A/B ?
Cela dépend des taux et du plus petit gain qui vaut la peine d’être détecté. Passer de 4 % à 5 % demande environ 6 745 visiteurs par variante pour une puissance de 80 % avec un niveau de confiance de 95 % ; des gains plus petits en demandent beaucoup plus.
Faut-il utiliser un test unilatéral ?
Seulement si vous avez décidé avant le test qu’une seule direction vous intéresse. Un test unilatéral atteint la significativité plus vite, mais il ne peut pas vous dire que B a empiré les choses.
Le test n’est pas significatif. Est-ce que A et B sont identiques ?
Non. Cela signifie que les données ne permettent pas encore de les distinguer. Avec trop peu de visiteurs, même une vraie différence ressemble souvent à du hasard.
Puis-je comparer le revenu par visiteur ?
Non. Ce test exige des résultats binaires : chaque visiteur convertit ou non. Les montants nécessitent un autre test statistique.
Pour aller plus loin
- Calculateur de score zLe score z et le centile d’une valeur sur une loi normale, la valeur à un centile donné ou la probabilité entre deux valeurs., confidentiel, fonctionne sur votre appareilMaths et nombresCalculateurStatistiques
- Calculateur de moyenneMoyenne, médiane, mode et étendue, avec effectif, somme, minimum et maximum., confidentiel, fonctionne sur votre appareilMaths et nombresCalculateurStatistiques
- Calculateur de combinaisons et permutationsNombre exact de combinaisons et de permutations, avec ou sans répétition, et la probabilité d’un tirage précis., confidentiel, fonctionne sur votre appareilMaths et nombresCalculateurStatistiques
- Calculateur d’écart typeÉcart type et variance d’une liste de nombres, pour un échantillon ou une population, avec la moyenne et l’erreur type., confidentiel, fonctionne sur votre appareilMaths et nombresCalculateurStatistiques
- Calculateur de TAEGTransformez le taux d’intérêt et les frais d’un crédit en un seul taux annuel effectif global (TAEG), selon la formule européenne., confidentiel, fonctionne sur votre appareilArgent et financesCalculateurPrêtsTaux d’intérêtCoûts
- Calculateur de seuil de rentabilitéObtenez les unités et le chiffre d’affaires qui couvrent vos coûts fixes et variables., confidentiel, fonctionne sur votre appareilArgent et financesCalculateurCoûts
Autres outils de la catégorie Argent et finances
Les 38 outils de la catégorie Argent et finances- Convertisseur de devisesConversion entre environ 30 devises aux taux quotidiens de la Banque centrale européenne, avec leur date., confidentiel, fonctionne sur votre appareil
- Simulateur de prêt immobilierVoir votre mensualité, les intérêts totaux et la baisse du capital restant dû., confidentiel, fonctionne sur votre appareil
- Calculateur de prêtÉchéances, intérêts et frais d’un prêt : échéances constantes ou amortissement constant, chaque mois ou moins souvent., confidentiel, fonctionne sur votre appareil
- Calculateur de TVAAjoutez la TVA à un prix ou retirez-la, avec les taux normaux et réduits de votre pays., confidentiel, fonctionne sur votre appareil
- Calcul d’objectif d’épargneVoir le versement mensuel ou annuel qui permet d’atteindre votre objectif à temps., confidentiel, fonctionne sur votre appareil
- Calculateur d’indemnités kilométriquesL’indemnité kilométrique et l’indemnité journalière non imposables d’un déplacement professionnel en Finlande, aux barèmes de l’administration fiscale., confidentiel, fonctionne sur votre appareil
Populaires en ce moment
Liens sponsorisés
Liens sponsorisés
Liens sponsorisés