Hoppa till innehållet

Signifikanskalkylator för A/B-test

Pengar och ekonomi
Matematik och tal

Är resultatet av ditt A/B-test verkligt eller bara slump?

Konverteringsgrad, lyft, p-värde och konfidensintervall för ett A/B-test, med den urvalsstorlek testet behöver.

Testinställningar
Leta efter
%

%

Lyft för B jämfört med A

+25 %

Signifikant på konfidensnivån 95 % (p < 0,001): en så stor skillnad vore osannolik om A och B konverterade lika bra.

Mer om testet

Konverteringsgrad A
4 %
Konverteringsgrad B
5 %
Skillnad B − A
+1 procentenheter
95 % konfidensintervall för skillnaden
0,43 till 1,57 procentenheter
p-värde
< 0,001
Besökare per variant för 80 % styrka
6 745

Signifikans säger bara att skillnaden sannolikt inte är ren slump. Den säger inte hur stort det verkliga lyftet är, att ändringen orsakade det eller att det håller i sig. Bestäm urvalsstorleken innan du börjar och avbryt inte testet så fort det ser signifikant ut.

Sponsrade länkar

Konverteringsgrad, lyft, p-värde och konfidensintervall för ett A/B-test, med den urvalsstorlek testet behöver.

Så använder du verktyget

  1. Ange hur många besökare som såg varje variant och hur många av dem som konverterade.
  2. Läs av lyftet för B jämfört med A och om skillnaden är signifikant; detaljerna visar båda konverteringsgraderna, intervallet för skillnaden och p-värdet.
  3. Kontrollera hur många besökare varje variant behöver; öppna Testinställningar för att ändra konfidensnivå, välja ett ensidigt test eller ändra styrkan.

Sponsrade länkar

Så fungerar det

Ett A/B-test visar två versioner av en sida för olika besökare och jämför hur ofta var och en konverterar. Inte ens två identiska sidor får exakt samma konverteringsgrad, så frågan är om skillnaden är större än vad slumpen ensam brukar ge.

Testet slår ihop båda grupperna till en gemensam andel p̂ och jämför skillnaden med dess standardfel: z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). p-värdet är sannolikheten för en minst lika stor skillnad om de två versionerna verkligen konverterade lika bra. Metoden följer NIST/SEMATECH e-Handbook; urvalsstorleken för en given styrka följer power.prop.test i R.

Signifikans är inte effektens storlek: intervallet för skillnaden visar hur stor eller liten den verkliga vinsten rimligen kan vara. Bestäm urvalsstorleken före testet, kör det i hela veckor och sluta inte så fort det blir signifikant, annars vinner slumpen mycket oftare än konfidensnivån antyder.

Räkneexempel

Hur stor är den relativa ökningen från 200 till 250 konverteringar per 5 000 besökare?

  1. A = 200 ÷ 5 000 = 4 %; B = 250 ÷ 5 000 = 5 %.
  2. (B − A) ÷ A = 25 %.

Relativ ökning: 25 %. Det tvåsidiga testet med 95 % konfidensnivå ger p = 0,01587.

Vanliga frågor

Vad betyder ett p-värde på 0,05?

Om A och B verkligen konverterade lika ofta skulle en minst lika stor skillnad dyka upp i ungefär 5 % av testerna. Det är inte sannolikheten att B är bättre.

Hur många besökare behöver mitt A/B-test?

Det beror på konverteringsgraderna och det minsta lyft som är värt att upptäcka. Från 4 % till 5 % krävs ungefär 6 745 besökare per variant för 80 % styrka på 95 % konfidensnivå; mindre lyft kräver många fler.

Ska jag använda ett ensidigt test?

Bara om du bestämde före testet att du bryr dig om en riktning. Ett ensidigt test når signifikans snabbare, men det kan inte visa att B gjorde saken sämre.

Testet är inte signifikant. Betyder det att A och B är lika?

Nej. Det betyder att datan inte kan skilja dem åt ännu. Med för få besökare ser även en verklig skillnad ofta ut som slump.

Kan jag jämföra intäkt per besökare?

Nej. Testet kräver binära utfall: varje besökare konverterar eller inte. Belopp kräver ett annat statistiskt test.

Det här kan du behöva härnäst

Mer i Pengar och ekonomi

Alla 38 verktyg i Pengar och ekonomi

Populärt just nu

Sponsrade länkar

Sponsrade länkar