Zum Inhalt springen

A/B-Test-Signifikanzrechner

Geld & Finanzen
Mathe & Zahlen

Ist dein A/B-Test-Ergebnis echt oder nur Zufall?

Konversionsraten, Uplift, p-Wert und Konfidenzintervall eines A/B-Tests, mit der nötigen Stichprobengröße.

Testeinstellungen
Gesucht wird
%

%

Uplift von B gegenüber A

+25 %

Signifikant bei 95 % Konfidenz (p < 0,001): Ein so großer Unterschied wäre unwahrscheinlich, wenn A und B gleich gut konvertieren würden.

Mehr zum Test

Konversionsrate A
4 %
Konversionsrate B
5 %
Differenz B − A
+1 Prozentpunkte
Konfidenzintervall der Differenz (95 %)
0,43 bis 1,57 Prozentpunkte
p-Wert
< 0,001
Besucher pro Variante für 80 % Teststärke
6.745

Signifikanz sagt nur, dass der Unterschied wahrscheinlich kein reiner Zufall ist. Sie sagt nicht, wie groß der wahre Uplift ist, dass die Änderung ihn verursacht hat oder dass er anhält. Lege die Stichprobengröße vor dem Start fest und brich den Test nicht ab, sobald er signifikant aussieht.

Gesponserte Links

Konversionsraten, Uplift, p-Wert und Konfidenzintervall eines A/B-Tests, mit der nötigen Stichprobengröße.

Anleitung

  1. Gib ein, wie viele Besucher jede Variante gesehen haben und wie viele davon konvertiert sind.
  2. Lies den Uplift von B gegenüber A ab und ob der Unterschied signifikant ist; die Details zeigen beide Raten, das Intervall der Differenz und den p-Wert.
  3. Prüfe, wie viele Besucher jede Variante braucht; öffne Testeinstellungen, um Konfidenzniveau, einseitigen Test oder Teststärke zu ändern.

Gesponserte Links

So funktioniert es

Ein A/B-Test zeigt verschiedenen Besuchern zwei Versionen einer Seite und vergleicht, wie oft jede konvertiert. Selbst zwei identische Seiten kommen selten auf genau dieselbe Rate, die Frage ist also, ob der Abstand größer ist, als der Zufall allein ihn meist erzeugen würde.

Der Test fasst beide Gruppen zu einer Rate p̂ zusammen und vergleicht die Differenz mit ihrem Standardfehler: z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). Der p-Wert ist die Wahrscheinlichkeit für einen mindestens so großen Abstand, wenn beide Versionen wirklich gleich gut konvertieren. Die Methode folgt dem NIST/SEMATECH e-Handbook; die für eine Teststärke nötige Stichprobengröße folgt power.prop.test aus R.

Signifikanz ist nicht die Größe des Effekts: Das Intervall der Differenz zeigt, wie groß oder klein der wahre Gewinn plausibel sein kann. Lege die Stichprobengröße vor dem Test fest, lass ihn ganze Wochen laufen und hör nicht auf, sobald er signifikant wird – sonst gewinnt der Zufall weit öfter, als das Konfidenzniveau vermuten lässt.

Rechenbeispiel

Wie groß ist die relative Steigerung von 200 auf 250 Conversions je 5.000 Besucher?

  1. A = 200 ÷ 5.000 = 4 %; B = 250 ÷ 5.000 = 5 %.
  2. (B − A) ÷ A = 25 %.

Relative Steigerung: 25 %. Der zweiseitige Test bei 95 % Konfidenzniveau ergibt p = 0,01587.

Häufige Fragen

Was bedeutet ein p-Wert von 0,05?

Würden A und B wirklich gleich gut konvertieren, käme ein mindestens so großer Unterschied in etwa 5 % der Tests vor. Es ist nicht die Wahrscheinlichkeit, dass B besser ist.

Wie viele Besucher braucht mein A/B-Test?

Das hängt von den Raten und dem kleinsten Uplift ab, den du erkennen willst. Von 4 % auf 5 % braucht es etwa 6.745 Besucher pro Variante für 80 % Teststärke bei 95 % Konfidenz; kleinere Uplifts brauchen viel mehr.

Soll ich einen einseitigen Test nehmen?

Nur wenn du vor dem Test festgelegt hast, dass dich nur eine Richtung interessiert. Ein einseitiger Test wird schneller signifikant, kann dir aber nicht sagen, dass B etwas verschlechtert hat.

Der Test ist nicht signifikant. Heißt das, A und B sind gleich?

Nein. Es heißt, dass die Daten sie noch nicht unterscheiden können. Mit zu wenigen Besuchern sieht selbst ein echter Unterschied oft wie Zufall aus.

Kann ich den Umsatz pro Besucher vergleichen?

Nein. Dieser Test braucht binäre Ergebnisse: Ein Besucher konvertiert oder nicht. Umsatzbeträge benötigen einen anderen statistischen Test.

Das könnte dir als Nächstes helfen

Mehr in Geld & Finanzen

Alle 38 Tools in Geld & Finanzen

Gerade beliebt

Gesponserte Links

Gesponserte Links