Calculadora de significación de test A/B
Dinero y finanzas¿El resultado de tu test A/B es real o pura casualidad?
Tasas de conversión, mejora, valor p e intervalo de confianza de un test A/B, con el tamaño de muestra que necesita.
Lo que introduces permanece en tu dispositivo mientras usas esta herramienta. Al abrir un enlace compartido, los ajustes de su dirección se envían a HowToolbox para preparar la página.
Ajustes del test
Mejora de B sobre A
+25 %
Significativo con un 95 % de confianza (p < 0,001): una diferencia tan grande sería improbable si A y B convirtieran igual.
Más sobre el test
- Tasa de conversión A
- 4 %
- Tasa de conversión B
- 5 %
- Diferencia B − A
- +1 puntos porcentuales
- Intervalo del 95 % de la diferencia
- De 0,43 a 1,57 puntos porcentuales
- Valor p
- < 0,001
- Visitantes por variante para una potencia del 80 %
- 6745
La significación solo dice que es improbable que la diferencia sea pura casualidad. No dice cuánto es la mejora real, que el cambio la haya causado ni que vaya a durar. Decide el tamaño de muestra antes de empezar y no pares el test en cuanto parezca significativo.
Enlaces patrocinados
Tasas de conversión, mejora, valor p e intervalo de confianza de un test A/B, con el tamaño de muestra que necesita.
Cómo usar la herramienta
- Introduce cuántos visitantes vieron cada variante y cuántos de ellos convirtieron.
- Lee la mejora de B sobre A y si la diferencia es significativa; los detalles muestran ambas tasas, el intervalo de la diferencia y el valor p.
- Comprueba cuántos visitantes necesita cada variante; abre Ajustes del test para cambiar el nivel de confianza, elegir un test unilateral o cambiar la potencia.
Enlaces patrocinados
Cómo funciona
Un test A/B muestra dos versiones de una página a visitantes distintos y compara con qué frecuencia convierte cada una. Ni siquiera dos páginas idénticas suelen obtener exactamente la misma tasa, así que la pregunta es si la diferencia es mayor de lo que el azar suele producir por sí solo.
El test agrupa ambos grupos en una sola tasa p̂ y compara la diferencia con su error estándar: z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)). El valor p es la probabilidad de una diferencia al menos así de grande si las dos versiones convirtieran realmente igual. El método sigue el NIST/SEMATECH e-Handbook; el tamaño de muestra para una potencia dada sigue power.prop.test de R.
La significación no es el tamaño del efecto: el intervalo de la diferencia muestra lo grande o pequeña que podría ser la ganancia real. Decide el tamaño de muestra antes del test, haz que dure semanas completas y no lo pares en cuanto sea significativo, o el azar ganará muchas más veces de lo que sugiere el nivel de confianza.
Ejemplo resuelto
¿Cuál es la mejora relativa de 200 a 250 conversiones por cada 5000 visitantes?
- A = 200 ÷ 5000 = 4 %; B = 250 ÷ 5000 = 5 %.
- (B − A) ÷ A = 25 %.
Mejora relativa: 25 %. La prueba bilateral con un nivel de confianza del 95 % da p = 0,01587.
Preguntas frecuentes
¿Qué significa un valor p de 0,05?
Si A y B convirtieran realmente con la misma tasa, una diferencia al menos así de grande aparecería en cerca del 5 % de los tests. No es la probabilidad de que B sea mejor.
¿Cuántos visitantes necesita mi test A/B?
Depende de las tasas y de la mejora más pequeña que valga la pena detectar. Pasar del 4 % al 5 % requiere unos 6745 visitantes por variante para una potencia del 80 % con un 95 % de confianza; las mejoras más pequeñas necesitan muchos más.
¿Debo usar un test unilateral?
Solo si decidiste antes del test que te importa una sola dirección. Un test unilateral alcanza la significación antes, pero no puede decirte que B haya empeorado las cosas.
El test no es significativo. ¿Significa que A y B son iguales?
No. Significa que los datos aún no pueden distinguirlas. Con muy pocos visitantes, incluso una diferencia real suele parecer casualidad.
¿Puedo comparar los ingresos por visitante?
No. La prueba necesita resultados binarios: cada visitante convierte o no. Los importes requieren otra prueba estadística.
También puedes necesitar
- Calculadora de puntuación zLa puntuación z y el percentil de un valor en una distribución normal, el valor en un percentil o la probabilidad entre dos valores., privada, funciona en tu dispositivoMatemáticas y númerosCalculadoraEstadística
- Calculadora de promediosMedia, mediana, moda y rango de una lista de números, con cantidad, suma, mínimo y máximo., privada, funciona en tu dispositivoMatemáticas y númerosCalculadoraEstadística
- Calculadora de combinaciones y permutacionesEl número exacto de combinaciones y permutaciones, con o sin repetición, y la probabilidad de una elección concreta., privada, funciona en tu dispositivoMatemáticas y númerosCalculadoraEstadística
- Calculadora de desviación estándarDesviación estándar y varianza muestral o poblacional de una lista de números, con la media y el error estándar., privada, funciona en tu dispositivoMatemáticas y númerosCalculadoraEstadística
- Calculadora de TAEConvierte el tipo de interés y las comisiones de un préstamo en una sola tasa anual equivalente (TAE) según la fórmula de la UE., privada, funciona en tu dispositivoDinero y finanzasCalculadoraPréstamosTipos de interésGastos
- Calculadora del punto de equilibrioCalcula las unidades y las ventas que cubren tus costes fijos y variables., privada, funciona en tu dispositivoDinero y finanzasCalculadoraGastos
Más en Dinero y finanzas
Todas las 38 herramientas de Dinero y finanzas- Conversor de divisasConvierte unas 30 divisas con los tipos diarios de referencia del Banco Central Europeo y muestra su fecha., privada, funciona en tu dispositivo
- Simulador de hipotecaConsulta la cuota mensual, los intereses totales y cómo baja tu préstamo con el tiempo., privada, funciona en tu dispositivo
- Calculadora de préstamosCuotas, intereses y comisiones de un préstamo de cuota constante o amortización constante, con pagos mensuales o menos frecuentes., privada, funciona en tu dispositivo
- Calculadora de IVAAñade o quita el IVA de un precio con los tipos general y reducidos de tu país., privada, funciona en tu dispositivo
- Calculadora de alquilar o comprarCompara alquilar y comprar durante los años que piensas quedarte, con todos los supuestos a la vista., privada, funciona en tu dispositivo
- Calculadora de coste eléctricoConvierte la potencia, el uso diario y el precio de la electricidad en kWh y coste., privada, funciona en tu dispositivo
Populares ahora
Enlaces patrocinados
Enlaces patrocinados
Enlaces patrocinados