# Calculateur de significativité de test A/B > Le résultat de votre test A/B est-il réel ou dû au hasard ? Taux de conversion, gain, valeur p et intervalle de confiance d’un test A/B, avec la taille d’échantillon nécessaire. Vérifiez si la variante B convertit vraiment mieux que A : gain, valeur p, intervalle de confiance de la différence et nombre de visiteurs nécessaires. - Page: https://how.box/fr/ab-test/ - Runs entirely in the browser. - License: HowToolbox's own text and data (titles, explanations, FAQs, tool descriptions and schemas, this file) are CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/); AI training and answers are welcome. Attribute "HowToolbox (how.box)" with a link to the page used. Third-party data keeps its own terms; the name and logo are not licensed. Publisher: HowToolbox, contact@how.box. Terms: https://how.box/fr/about/terms/ ## Inputs Answer link: https://how.box/fr/ab-test/?na={na}&ca={ca}&nb={nb}&cb={cb}&c={c}&h={h}&pw={pw} - `na` (whole number 1 to 1e9): Visitors in A. Example: `10000`. - `ca` (whole number 0 to 1e9): Conversions in A. Example: `400`. - `nb` (whole number 1 to 1e9): Visitors in B. Example: `10000`. - `cb` (whole number 0 to 1e9): Conversions in B. Example: `500`. - `c` (number 80 to 99.9): Confidence level in percent. Example: `95`. - `h` (two-sided, greater or less): two-sided, greater or less. Example: `two-sided`. - `pw` (number 50 to 99): Power for the sample-size hint, percent. Example: `80`. Example answer: https://how.box/fr/ab-test/?na=10000&ca=400&nb=10000&cb=500&c=95&h=two-sided&pw=80 A complete link carries the primary answer in the page HTML; a missing or invalid value shows the default page. ## Agent tools - `ab_test_calculate`: A/B test of two conversion rates with the pooled two-proportion z-test (equal to Pearson's χ² without continuity correction). - MCP, one POST to https://how.box/mcp: `{"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"ab_test_calculate","arguments":{"visitors_a":10000,"conversions_a":400,"visitors_b":10000,"conversions_b":500,"confidence_percent":95,"alternative":"two-sided","power_percent":80}}}` - GET: https://how.box/mcp/run/ab_test_calculate?visitors_a=10000&conversions_a=400&visitors_b=10000&conversions_b=500&confidence_percent=95&alternative=two-sided&power_percent=80 ## How it works Un test A/B montre deux versions d’une page à des visiteurs différents et compare la fréquence de conversion de chacune. Même deux pages identiques obtiennent rarement exactement le même taux ; la question est donc de savoir si l’écart dépasse ce que le hasard seul produirait habituellement. Le test regroupe les deux groupes en un seul taux p̂ et compare la différence à son erreur type : z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). La valeur p est la probabilité d’un écart au moins aussi grand si les deux versions convertissaient réellement autant. La méthode suit le NIST/SEMATECH e-Handbook ; la taille d’échantillon nécessaire pour une puissance donnée suit power.prop.test de R. La significativité n’est pas la taille de l’effet : l’intervalle de la différence montre à quel point le vrai gain peut raisonnablement être grand ou petit. Fixez la taille d’échantillon avant le test, faites-le tourner par semaines entières et ne l’arrêtez pas dès qu’il devient significatif, sinon le hasard l’emporte bien plus souvent que le niveau de confiance ne le laisse penser. ## FAQ **Que signifie une valeur p de 0,05 ?** Si A et B convertissaient vraiment au même taux, une différence au moins aussi grande apparaîtrait dans environ 5 % des tests. Ce n’est pas la probabilité que B soit meilleur. **Combien de visiteurs faut-il pour mon test A/B ?** Cela dépend des taux et du plus petit gain qui vaut la peine d’être détecté. Passer de 4 % à 5 % demande environ 6 745 visiteurs par variante pour une puissance de 80 % avec un niveau de confiance de 95 % ; des gains plus petits en demandent beaucoup plus. **Faut-il utiliser un test unilatéral ?** Seulement si vous avez décidé avant le test qu’une seule direction vous intéresse. Un test unilatéral atteint la significativité plus vite, mais il ne peut pas vous dire que B a empiré les choses. **Le test n’est pas significatif. Est-ce que A et B sont identiques ?** Non. Cela signifie que les données ne permettent pas encore de les distinguer. Avec trop peu de visiteurs, même une vraie différence ressemble souvent à du hasard. **Puis-je comparer le revenu par visiteur ?** Non. Ce test exige des résultats binaires : chaque visiteur convertit ou non. Les montants nécessitent un autre test statistique. More: [HowToolbox index](https://how.box/llms.txt) · [Agent Skill](https://how.box/skill.md) · [agent terms](https://how.box/fr/about/agents/)