# A/B-testin merkitsevyyslaskuri > Onko A/B-testisi tulos todellinen vai sattumaa? A/B-testin konversioasteet, nousu, p-arvo ja luottamusväli sekä testin tarvitsema otoskoko. Tarkista, konvertoiko versio B todella paremmin kuin A: nousu, p-arvo, eron luottamusväli ja montako kävijää testi tarvitsee. - Page: https://how.box/fi/ab-test/ - Runs entirely in the browser. - License: HowToolbox's own text and data (titles, explanations, FAQs, tool descriptions and schemas, this file) are CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/); AI training and answers are welcome. Attribute "HowToolbox (how.box)" with a link to the page used. Third-party data keeps its own terms; the name and logo are not licensed. Publisher: HowToolbox, contact@how.box. Terms: https://how.box/fi/about/terms/ ## Inputs Answer link: https://how.box/fi/ab-test/?na={na}&ca={ca}&nb={nb}&cb={cb}&c={c}&h={h}&pw={pw} - `na` (whole number 1 to 1e9): Visitors in A. Example: `10000`. - `ca` (whole number 0 to 1e9): Conversions in A. Example: `400`. - `nb` (whole number 1 to 1e9): Visitors in B. Example: `10000`. - `cb` (whole number 0 to 1e9): Conversions in B. Example: `500`. - `c` (number 80 to 99.9): Confidence level in percent. Example: `95`. - `h` (two-sided, greater or less): two-sided, greater or less. Example: `two-sided`. - `pw` (number 50 to 99): Power for the sample-size hint, percent. Example: `80`. Example answer: https://how.box/fi/ab-test/?na=10000&ca=400&nb=10000&cb=500&c=95&h=two-sided&pw=80 A complete link carries the primary answer in the page HTML; a missing or invalid value shows the default page. ## Agent tools - `ab_test_calculate`: A/B test of two conversion rates with the pooled two-proportion z-test (equal to Pearson's χ² without continuity correction). - MCP, one POST to https://how.box/mcp: `{"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"ab_test_calculate","arguments":{"visitors_a":10000,"conversions_a":400,"visitors_b":10000,"conversions_b":500,"confidence_percent":95,"alternative":"two-sided","power_percent":80}}}` - GET: https://how.box/mcp/run/ab_test_calculate?visitors_a=10000&conversions_a=400&visitors_b=10000&conversions_b=500&confidence_percent=95&alternative=two-sided&power_percent=80 ## How it works A/B-testi näyttää sivun kaksi versiota eri kävijöille ja vertaa, kuinka usein kumpikin konvertoi. Kaksi identtistäkään sivua saa harvoin täsmälleen saman konversioasteen, joten kysymys on, onko ero suurempi kuin pelkkä sattuma yleensä tuottaisi. Testi yhdistää molemmat ryhmät yhdeksi osuudeksi p̂ ja vertaa eroa sen keskivirheeseen: z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). p-arvo on todennäköisyys vähintään yhtä suurelle erolle, jos versiot todella konvertoisivat yhtä hyvin. Menetelmä noudattaa NIST/SEMATECH e-Handbookia; tietyn voiman vaatima otoskoko noudattaa R:n power.prop.test-funktiota. Merkitsevyys ei ole vaikutuksen koko: eron luottamusväli näyttää, kuinka suuri tai pieni todellinen hyöty voi uskottavasti olla. Päätä otoskoko ennen testiä, aja testi täysinä viikkoina äläkä lopeta heti, kun tulos muuttuu merkitseväksi, tai sattuma voittaa paljon useammin kuin luottamustaso antaa ymmärtää. ## FAQ **Mitä 0,05:n p-arvo tarkoittaa?** Jos A ja B todella konvertoisivat yhtä usein, vähintään yhtä suuri ero näkyisi noin 5 %:ssa testeistä. Se ei ole todennäköisyys sille, että B on parempi. **Montako kävijää A/B-testini tarvitsee?** Se riippuu konversioasteista ja pienimmästä noususta, joka kannattaa havaita. Muutos 4 %:sta 5 %:iin vaatii noin 6 745 kävijää versiota kohden, kun voima on 80 % ja luottamustaso 95 %; pienemmät nousut vaativat paljon enemmän. **Kannattaako käyttää yksisuuntaista testiä?** Vain jos päätit ennen testiä, että vain toinen suunta kiinnostaa. Yksisuuntainen testi saavuttaa merkitsevyyden nopeammin, mutta se ei voi kertoa, että B huononsi tilannetta. **Testi ei ole merkitsevä. Tarkoittaako se, että A ja B ovat samanlaiset?** Ei. Se tarkoittaa, että aineisto ei vielä erota niitä toisistaan. Liian pienellä kävijämäärällä todellinenkin ero näyttää usein sattumalta. **Voinko verrata kävijäkohtaista liikevaihtoa?** Et. Testi tarvitsee kaksijakoisen tuloksen: kävijä joko konvertoituu tai ei. Rahamäärille tarvitaan eri tilastollinen testi. More: [HowToolbox index](https://how.box/llms.txt) · [Agent Skill](https://how.box/skill.md) · [agent terms](https://how.box/fi/about/agents/)