# A/B-Test-Signifikanzrechner > Ist dein A/B-Test-Ergebnis echt oder nur Zufall? Konversionsraten, Uplift, p-Wert und Konfidenzintervall eines A/B-Tests, mit der nötigen Stichprobengröße. Prüfe, ob Variante B wirklich besser konvertiert als A: Uplift, p-Wert, Konfidenzintervall der Differenz und wie viele Besucher der Test braucht. - Page: https://how.box/de/ab-test/ - Runs entirely in the browser. - License: HowToolbox's own text and data (titles, explanations, FAQs, tool descriptions and schemas, this file) are CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/); AI training and answers are welcome. Attribute "HowToolbox (how.box)" with a link to the page used. Third-party data keeps its own terms; the name and logo are not licensed. Publisher: HowToolbox, contact@how.box. Terms: https://how.box/de/about/terms/ ## Inputs Answer link: https://how.box/de/ab-test/?na={na}&ca={ca}&nb={nb}&cb={cb}&c={c}&h={h}&pw={pw} - `na` (whole number 1 to 1e9): Visitors in A. Example: `10000`. - `ca` (whole number 0 to 1e9): Conversions in A. Example: `400`. - `nb` (whole number 1 to 1e9): Visitors in B. Example: `10000`. - `cb` (whole number 0 to 1e9): Conversions in B. Example: `500`. - `c` (number 80 to 99.9): Confidence level in percent. Example: `95`. - `h` (two-sided, greater or less): two-sided, greater or less. Example: `two-sided`. - `pw` (number 50 to 99): Power for the sample-size hint, percent. Example: `80`. Example answer: https://how.box/de/ab-test/?na=10000&ca=400&nb=10000&cb=500&c=95&h=two-sided&pw=80 A complete link carries the primary answer in the page HTML; a missing or invalid value shows the default page. ## Agent tools - `ab_test_calculate`: A/B test of two conversion rates with the pooled two-proportion z-test (equal to Pearson's χ² without continuity correction). - MCP, one POST to https://how.box/mcp: `{"jsonrpc":"2.0","id":1,"method":"tools/call","params":{"name":"ab_test_calculate","arguments":{"visitors_a":10000,"conversions_a":400,"visitors_b":10000,"conversions_b":500,"confidence_percent":95,"alternative":"two-sided","power_percent":80}}}` - GET: https://how.box/mcp/run/ab_test_calculate?visitors_a=10000&conversions_a=400&visitors_b=10000&conversions_b=500&confidence_percent=95&alternative=two-sided&power_percent=80 ## How it works Ein A/B-Test zeigt verschiedenen Besuchern zwei Versionen einer Seite und vergleicht, wie oft jede konvertiert. Selbst zwei identische Seiten kommen selten auf genau dieselbe Rate, die Frage ist also, ob der Abstand größer ist, als der Zufall allein ihn meist erzeugen würde. Der Test fasst beide Gruppen zu einer Rate p̂ zusammen und vergleicht die Differenz mit ihrem Standardfehler: z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). Der p-Wert ist die Wahrscheinlichkeit für einen mindestens so großen Abstand, wenn beide Versionen wirklich gleich gut konvertieren. Die Methode folgt dem NIST/SEMATECH e-Handbook; die für eine Teststärke nötige Stichprobengröße folgt power.prop.test aus R. Signifikanz ist nicht die Größe des Effekts: Das Intervall der Differenz zeigt, wie groß oder klein der wahre Gewinn plausibel sein kann. Lege die Stichprobengröße vor dem Test fest, lass ihn ganze Wochen laufen und hör nicht auf, sobald er signifikant wird – sonst gewinnt der Zufall weit öfter, als das Konfidenzniveau vermuten lässt. ## FAQ **Was bedeutet ein p-Wert von 0,05?** Würden A und B wirklich gleich gut konvertieren, käme ein mindestens so großer Unterschied in etwa 5 % der Tests vor. Es ist nicht die Wahrscheinlichkeit, dass B besser ist. **Wie viele Besucher braucht mein A/B-Test?** Das hängt von den Raten und dem kleinsten Uplift ab, den du erkennen willst. Von 4 % auf 5 % braucht es etwa 6.745 Besucher pro Variante für 80 % Teststärke bei 95 % Konfidenz; kleinere Uplifts brauchen viel mehr. **Soll ich einen einseitigen Test nehmen?** Nur wenn du vor dem Test festgelegt hast, dass dich nur eine Richtung interessiert. Ein einseitiger Test wird schneller signifikant, kann dir aber nicht sagen, dass B etwas verschlechtert hat. **Der Test ist nicht signifikant. Heißt das, A und B sind gleich?** Nein. Es heißt, dass die Daten sie noch nicht unterscheiden können. Mit zu wenigen Besuchern sieht selbst ein echter Unterschied oft wie Zufall aus. **Kann ich den Umsatz pro Besucher vergleichen?** Nein. Dieser Test braucht binäre Ergebnisse: Ein Besucher konvertiert oder nicht. Umsatzbeträge benötigen einen anderen statistischen Test. More: [HowToolbox index](https://how.box/llms.txt) · [Agent Skill](https://how.box/skill.md) · [agent terms](https://how.box/de/about/agents/)