Calcolatore di significatività per test A/B
Denaro e finanzaIl risultato del tuo test A/B è reale o solo un caso?
Tassi di conversione, incremento, p-value e intervallo di confidenza di un test A/B, con la dimensione del campione necessaria.
Ciò che inserisci resta sul tuo dispositivo mentre usi questo strumento. Aprendo un link condiviso, le impostazioni nel suo indirizzo vengono inviate a HowToolbox per preparare la pagina.
Impostazioni del test
Incremento di B rispetto ad A
+25%
Significativo con livello di confidenza 95% (p < 0,001): una differenza così grande sarebbe improbabile se A e B convertissero allo stesso modo.
Altre informazioni sul test
- Tasso di conversione A
- 4%
- Tasso di conversione B
- 5%
- Differenza B − A
- +1 punti percentuali
- Intervallo di confidenza 95% della differenza
- Da 0,43 a 1,57 punti percentuali
- p-value
- < 0,001
- Visitatori per variante con potenza 80%
- 6745
La significatività dice solo che la differenza difficilmente è dovuta al puro caso. Non dice quanto è grande l’incremento reale, che lo abbia causato la modifica, né che durerà. Decidi la dimensione del campione prima di iniziare e non fermare il test appena sembra significativo.
Link sponsorizzati
Tassi di conversione, incremento, p-value e intervallo di confidenza di un test A/B, con la dimensione del campione necessaria.
Come si usa
- Inserisci quanti visitatori hanno visto ciascuna variante e quanti di loro hanno convertito.
- Leggi l’incremento di B rispetto ad A e se la differenza è significativa; i dettagli mostrano entrambi i tassi, l’intervallo della differenza e il p-value.
- Controlla i visitatori che servono a ogni variante; apri Impostazioni del test per cambiare il livello di confidenza, scegliere un test a una coda o la potenza.
Link sponsorizzati
Come funziona
Un test A/B mostra due versioni di una pagina a visitatori diversi e confronta quanto spesso ciascuna converte. Anche due pagine identiche raramente ottengono esattamente lo stesso tasso, quindi la domanda è se lo scarto sia più grande di quello che il solo caso produrrebbe di solito.
Il test unisce i due gruppi in un unico tasso p̂ e confronta la differenza con il suo errore standard: z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). Il p-value è la probabilità di uno scarto almeno così grande se le due versioni convertissero davvero allo stesso modo. Il metodo segue il NIST/SEMATECH e-Handbook; la dimensione del campione necessaria per una data potenza segue power.prop.test di R.
La significatività non è la dimensione dell’effetto: l’intervallo della differenza mostra quanto grande o piccolo potrebbe plausibilmente essere il guadagno reale. Decidi la dimensione del campione prima del test, fallo durare settimane intere e non fermarlo appena diventa significativo, altrimenti il caso vince molto più spesso di quanto suggerisca il livello di confidenza.
Esempio svolto
Qual è l’aumento relativo da 200 a 250 conversioni ogni 5000 visitatori?
- A = 200 ÷ 5000 = 4%; B = 250 ÷ 5000 = 5%.
- (B − A) ÷ A = 25%.
Aumento relativo: 25%. Il test bilaterale con livello di confidenza del 95% dà p = 0,01587.
Domande frequenti
Cosa significa un p-value di 0,05?
Se A e B convertissero davvero allo stesso tasso, una differenza almeno così grande comparirebbe in circa il 5% dei test. Non è la probabilità che B sia migliore.
Quanti visitatori servono al mio test A/B?
Dipende dai tassi e dal più piccolo incremento che valga la pena rilevare. Passare dal 4% al 5% richiede circa 6745 visitatori per variante per una potenza dell’80% con confidenza al 95%; incrementi più piccoli ne richiedono molti di più.
Devo usare un test a una coda?
Solo se hai deciso prima del test che ti interessa una sola direzione. Un test a una coda raggiunge la significatività prima, ma non può dirti che B ha peggiorato le cose.
Il test non è significativo. Significa che A e B sono uguali?
No. Significa che i dati non riescono ancora a distinguerli. Con troppo pochi visitatori, anche una differenza reale sembra spesso un caso.
Posso confrontare i ricavi per visitatore?
No. Il test richiede esiti binari: ogni visitatore converte oppure no. Gli importi richiedono un altro test statistico.
Potrebbe servirti anche
- Calcolatore del punteggio zIl punteggio z e il percentile di un valore in una distribuzione normale, il valore a un percentile o la probabilità tra due valori., riservato, funziona sul tuo dispositivoMatematica e numeriCalcolatoreStatistica
- Calcolatore della mediaMedia, mediana, moda e campo di variazione di un elenco di numeri, con conteggio, somma, minimo e massimo., riservato, funziona sul tuo dispositivoMatematica e numeriCalcolatoreStatistica
- Calcolatore di combinazioni e permutazioniNumero esatto di combinazioni e permutazioni, con o senza ripetizione, e la probabilità di una scelta precisa., riservato, funziona sul tuo dispositivoMatematica e numeriCalcolatoreStatistica
- Calcolatore della deviazione standardDeviazione standard e varianza di un elenco di numeri, per un campione o una popolazione, con la media e l’errore standard., riservato, funziona sul tuo dispositivoMatematica e numeriCalcolatoreStatistica
- Calcolatore del TAEGTrasforma il tasso di interesse e le spese di un prestito in un unico tasso annuo effettivo globale (TAEG) con la formula UE., riservato, funziona sul tuo dispositivoDenaro e finanzaCalcolatorePrestitiTassi di interesseCosti
- Calcolatore del punto di pareggioScopri quante unità e quante vendite coprono i tuoi costi fissi e variabili., riservato, funziona sul tuo dispositivoDenaro e finanzaCalcolatoreCosti
Altri strumenti in Denaro e finanza
Tutti i 38 strumenti in Denaro e finanza- Convertitore di valutaConverti tra circa 30 valute con i tassi giornalieri della Banca centrale europea e scopri a quale giorno si riferiscono., riservato, funziona sul tuo dispositivo
- Calcolo rata mutuoScopri la rata mensile, gli interessi totali e come il debito diminuisce nel tempo., riservato, funziona sul tuo dispositivo
- Calcolatore del prestitoRata, interessi e spese di ogni prestito: rata costante o quota capitale costante, con pagamenti mensili o meno frequenti., riservato, funziona sul tuo dispositivo
- Calcolo IVAAggiungi o scorpora l’IVA da un prezzo, con le aliquote ordinarie e ridotte del tuo Paese., riservato, funziona sul tuo dispositivo
- Calcolatore affitto o acquistoConfronta affitto e acquisto negli anni in cui pensi di restare, con tutte le ipotesi in vista., riservato, funziona sul tuo dispositivo
- Calcolatore degli interessi di moraGli interessi legali di mora su un debito scaduto in Finlandia: tasso di riferimento più 7 punti, semestre per semestre., riservato, funziona sul tuo dispositivo
Popolari adesso
Link sponsorizzati
Link sponsorizzati
Link sponsorizzati