Il risultato del tuo test A/B è reale o solo un caso?
Tassi di conversione, incremento, p-value e intervallo di confidenza di un test A/B, con la dimensione del campione necessaria.
Ciò che inserisci resta sul tuo dispositivo mentre usi questo strumento. Aprendo un link condiviso, le impostazioni nel suo indirizzo vengono inviate a HowToolbox per preparare la pagina.
Impostazioni del test
Incremento di B rispetto ad A
+25%
Significativo con livello di confidenza 95% (p < 0,001): una differenza così grande sarebbe improbabile se A e B convertissero allo stesso modo.
Altre informazioni sul test
- Tasso di conversione A
- 4%
- Tasso di conversione B
- 5%
- Differenza B − A
- +1 punto percentuale
- Intervallo di confidenza 95% della differenza
- Da 0,43 a 1,57 punti percentuali
- p-value
- < 0,001
- Visitatori per variante con potenza 80%
- 6745
La significatività dice solo che la differenza difficilmente è dovuta al puro caso. Non dice quanto è grande l’incremento reale, che lo abbia causato la modifica, né che durerà. Decidi la dimensione del campione prima di iniziare e non fermare il test appena sembra significativo.
Tassi di conversione, incremento, p-value e intervallo di confidenza di un test A/B, con la dimensione del campione necessaria.
Come si usa
- Inserisci quanti visitatori hanno visto ciascuna variante e quanti di loro hanno convertito.
- Leggi l’incremento di B rispetto ad A e se la differenza è significativa; i dettagli mostrano entrambi i tassi, l’intervallo della differenza e il p-value.
- Controlla i visitatori che servono a ogni variante; apri Impostazioni del test per cambiare il livello di confidenza, scegliere un test a una coda o la potenza.
Come funziona
Un test A/B mostra due versioni di una pagina a visitatori diversi e confronta quanto spesso ciascuna converte. Anche due pagine identiche raramente ottengono esattamente lo stesso tasso, quindi la domanda è se lo scarto sia più grande di quello che il solo caso produrrebbe di solito.
Il test unisce i due gruppi in un unico tasso p̂ e confronta la differenza con il suo errore standard: z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). Il p-value è la probabilità di uno scarto almeno così grande se le due versioni convertissero davvero allo stesso modo. Il metodo segue il NIST/SEMATECH e-Handbook; la dimensione del campione necessaria per una data potenza segue power.prop.test di R.
La significatività non è la dimensione dell’effetto: l’intervallo della differenza mostra quanto grande o piccolo potrebbe plausibilmente essere il guadagno reale. Decidi la dimensione del campione prima del test, fallo durare settimane intere e non fermarlo appena diventa significativo, altrimenti il caso vince molto più spesso di quanto suggerisca il livello di confidenza.
Esempio svolto
Qual è l’aumento relativo da 200 a 250 conversioni ogni 5000 visitatori?
- A = 200 ÷ 5000 = 4%; B = 250 ÷ 5000 = 5%.
- (B − A) ÷ A = 25%.
Aumento relativo: 25%. Il test bilaterale con livello di confidenza del 95% dà p = 0,01587.
Fonti
- R documentation: power.prop.testUsata per: formula
Domande frequenti
Cosa significa un p-value di 0,05?
Se A e B convertissero davvero allo stesso tasso, una differenza almeno così grande comparirebbe in circa il 5% dei test. Non è la probabilità che B sia migliore.
Quanti visitatori servono al mio test A/B?
Dipende dai tassi e dal più piccolo incremento che valga la pena rilevare. Passare dal 4% al 5% richiede circa 6745 visitatori per variante per una potenza dell’80% con confidenza al 95%; incrementi più piccoli ne richiedono molti di più.
Devo usare un test a una coda?
Solo se hai deciso prima del test che ti interessa una sola direzione. Un test a una coda raggiunge la significatività prima, ma non può dirti che B ha peggiorato le cose.
Il test non è significativo. Significa che A e B sono uguali?
No. Significa che i dati non riescono ancora a distinguerli. Con troppo pochi visitatori, anche una differenza reale sembra spesso un caso.
Posso confrontare i ricavi per visitatore?
No. Il test richiede esiti binari: ogni visitatore converte oppure no. Gli importi richiedono un altro test statistico.
Potrebbe servirti anche
Altri strumenti in Matematica e numeri
- Area delle figure, riservato, funziona sul tuo dispositivo
- Arrotondamento, riservato, funziona sul tuo dispositivo
- Calcolatore del cerchio, riservato, funziona sul tuo dispositivo
- Calcolatore del teorema di Pitagora, riservato, funziona sul tuo dispositivo
- Calcolatore della deviazione standard, riservato, funziona sul tuo dispositivo
- Calcolatore della media ponderata, riservato, funziona sul tuo dispositivo





