Är resultatet av ditt A/B-test verkligt eller bara slump?
Konverteringsgrad, lyft, p-värde och konfidensintervall för ett A/B-test, med den urvalsstorlek testet behöver.
Det du anger stannar på din enhet när du använder verktyget. När du öppnar en delad länk skickas inställningarna i adressen till HowToolbox för att förbereda sidan.
Testinställningar
Lyft för B jämfört med A
+25 %
Signifikant på konfidensnivån 95 % (p < 0,001): en så stor skillnad vore osannolik om A och B konverterade lika bra.
Mer om testet
- Konverteringsgrad A
- 4 %
- Konverteringsgrad B
- 5 %
- Skillnad B − A
- +1 procentenhet
- 95 % konfidensintervall för skillnaden
- 0,43 till 1,57 procentenheter
- p-värde
- < 0,001
- Besökare per variant för 80 % styrka
- 6 745
Signifikans säger bara att skillnaden sannolikt inte är ren slump. Den säger inte hur stort det verkliga lyftet är, att ändringen orsakade det eller att det håller i sig. Bestäm urvalsstorleken innan du börjar och avbryt inte testet så fort det ser signifikant ut.
Konverteringsgrad, lyft, p-värde och konfidensintervall för ett A/B-test, med den urvalsstorlek testet behöver.
Så använder du verktyget
- Ange hur många besökare som såg varje variant och hur många av dem som konverterade.
- Läs av lyftet för B jämfört med A och om skillnaden är signifikant; detaljerna visar båda konverteringsgraderna, intervallet för skillnaden och p-värdet.
- Kontrollera hur många besökare varje variant behöver; öppna Testinställningar för att ändra konfidensnivå, välja ett ensidigt test eller ändra styrkan.
Så fungerar det
Ett A/B-test visar två versioner av en sida för olika besökare och jämför hur ofta var och en konverterar. Inte ens två identiska sidor får exakt samma konverteringsgrad, så frågan är om skillnaden är större än vad slumpen ensam brukar ge.
Testet slår ihop båda grupperna till en gemensam andel p̂ och jämför skillnaden med dess standardfel: z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). p-värdet är sannolikheten för en minst lika stor skillnad om de två versionerna verkligen konverterade lika bra. Metoden följer NIST/SEMATECH e-Handbook; urvalsstorleken för en given styrka följer power.prop.test i R.
Signifikans är inte effektens storlek: intervallet för skillnaden visar hur stor eller liten den verkliga vinsten rimligen kan vara. Bestäm urvalsstorleken före testet, kör det i hela veckor och sluta inte så fort det blir signifikant, annars vinner slumpen mycket oftare än konfidensnivån antyder.
Räkneexempel
Hur stor är den relativa ökningen från 200 till 250 konverteringar per 5 000 besökare?
- A = 200 ÷ 5 000 = 4 %; B = 250 ÷ 5 000 = 5 %.
- (B − A) ÷ A = 25 %.
Relativ ökning: 25 %. Det tvåsidiga testet med 95 % konfidensnivå ger p = 0,01587.
Källor
- R documentation: power.prop.testAnvänds för: formel
Vanliga frågor
Vad betyder ett p-värde på 0,05?
Om A och B verkligen konverterade lika ofta skulle en minst lika stor skillnad dyka upp i ungefär 5 % av testerna. Det är inte sannolikheten att B är bättre.
Hur många besökare behöver mitt A/B-test?
Det beror på konverteringsgraderna och det minsta lyft som är värt att upptäcka. Från 4 % till 5 % krävs ungefär 6 745 besökare per variant för 80 % styrka på 95 % konfidensnivå; mindre lyft kräver många fler.
Ska jag använda ett ensidigt test?
Bara om du bestämde före testet att du bryr dig om en riktning. Ett ensidigt test når signifikans snabbare, men det kan inte visa att B gjorde saken sämre.
Testet är inte signifikant. Betyder det att A och B är lika?
Nej. Det betyder att datan inte kan skilja dem åt ännu. Med för få besökare ser även en verklig skillnad ofta ut som slump.
Kan jag jämföra intäkt per besökare?
Nej. Testet kräver binära utfall: varje besökare konverterar eller inte. Belopp kräver ett annat statistiskt test.





