Siirry sisältöön

A/B-testin merkitsevyyslaskuri

Raha ja talous
Matematiikka ja luvut

Onko A/B-testisi tulos todellinen vai sattumaa?

A/B-testin konversioasteet, nousu, p-arvo ja luottamusväli sekä testin tarvitsema otoskoko.

Testin asetukset
Etsittävä ero
%

%

B:n nousu A:han verrattuna

+25 %

Merkitsevä luottamustasolla 95 % (p < 0,001): näin suuri ero olisi epätodennäköinen, jos A ja B konvertoisivat yhtä hyvin.

Lisää testistä

Konversioaste A
4 %
Konversioaste B
5 %
Ero B − A
+1 prosenttiyksikköä
Eron 95 % luottamusväli
0,43 – 1,57 prosenttiyksikköä
p-arvo
< 0,001
Kävijät versiota kohden, testin voima 80 %
6 745

Merkitsevyys kertoo vain, että ero tuskin on pelkkää sattumaa. Se ei kerro, kuinka suuri todellinen nousu on, että muutos aiheutti sen tai että se kestää. Päätä otoskoko ennen aloittamista äläkä lopeta testiä heti, kun se näyttää merkitsevältä.

Sponsoroidut linkit

A/B-testin konversioasteet, nousu, p-arvo ja luottamusväli sekä testin tarvitsema otoskoko.

Käyttöohje

  1. Anna, montako kävijää näki kunkin version ja montako heistä konvertoi.
  2. Lue B:n nousu A:han verrattuna ja se, onko ero merkitsevä; lisätiedoissa näkyvät molemmat konversioasteet, eron väli ja p-arvo.
  3. Tarkista, montako kävijää kukin versio tarvitsee; avaa Testin asetukset, jos haluat muuttaa luottamustasoa, valita yksisuuntaisen testin tai muuttaa voimaa.

Sponsoroidut linkit

Näin se toimii

A/B-testi näyttää sivun kaksi versiota eri kävijöille ja vertaa, kuinka usein kumpikin konvertoi. Kaksi identtistäkään sivua saa harvoin täsmälleen saman konversioasteen, joten kysymys on, onko ero suurempi kuin pelkkä sattuma yleensä tuottaisi.

Testi yhdistää molemmat ryhmät yhdeksi osuudeksi p̂ ja vertaa eroa sen keskivirheeseen: z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). p-arvo on todennäköisyys vähintään yhtä suurelle erolle, jos versiot todella konvertoisivat yhtä hyvin. Menetelmä noudattaa NIST/SEMATECH e-Handbookia; tietyn voiman vaatima otoskoko noudattaa R:n power.prop.test-funktiota.

Merkitsevyys ei ole vaikutuksen koko: eron luottamusväli näyttää, kuinka suuri tai pieni todellinen hyöty voi uskottavasti olla. Päätä otoskoko ennen testiä, aja testi täysinä viikkoina äläkä lopeta heti, kun tulos muuttuu merkitseväksi, tai sattuma voittaa paljon useammin kuin luottamustaso antaa ymmärtää.

Esimerkkilasku

Mikä on suhteellinen kasvu, kun konversiot lisääntyvät määrästä 200 määrään 250 ja kävijöitä on 5 000?

  1. A = 200 ÷ 5 000 = 4 %; B = 250 ÷ 5 000 = 5 %.
  2. (B − A) ÷ A = 25 %.

Suhteellinen kasvu: 25 %. Kaksisuuntaisen testin p-arvo on 0,01587, kun luottamustaso on 95 %.

Usein kysyttyä

Mitä 0,05:n p-arvo tarkoittaa?

Jos A ja B todella konvertoisivat yhtä usein, vähintään yhtä suuri ero näkyisi noin 5 %:ssa testeistä. Se ei ole todennäköisyys sille, että B on parempi.

Montako kävijää A/B-testini tarvitsee?

Se riippuu konversioasteista ja pienimmästä noususta, joka kannattaa havaita. Muutos 4 %:sta 5 %:iin vaatii noin 6 745 kävijää versiota kohden, kun voima on 80 % ja luottamustaso 95 %; pienemmät nousut vaativat paljon enemmän.

Kannattaako käyttää yksisuuntaista testiä?

Vain jos päätit ennen testiä, että vain toinen suunta kiinnostaa. Yksisuuntainen testi saavuttaa merkitsevyyden nopeammin, mutta se ei voi kertoa, että B huononsi tilannetta.

Testi ei ole merkitsevä. Tarkoittaako se, että A ja B ovat samanlaiset?

Ei. Se tarkoittaa, että aineisto ei vielä erota niitä toisistaan. Liian pienellä kävijämäärällä todellinenkin ero näyttää usein sattumalta.

Voinko verrata kävijäkohtaista liikevaihtoa?

Et. Testi tarvitsee kaksijakoisen tuloksen: kävijä joko konvertoituu tai ei. Rahamäärille tarvitaan eri tilastollinen testi.

Seuraavaksi saatat tarvita

Lisää kategoriasta Raha ja talous

Kaikki 38 työkalua kategoriassa Raha ja talous

Suosittua nyt

Sponsoroidut linkit

Sponsoroidut linkit