📊

Significancia estadística de un test A/B: ¿tu variante realmente gana?

Comprueba si la diferencia de conversión entre el control y la variante de tu test A/B es estadísticamente significativa con una prueba z de dos proporciones.

Visitantes del control

Conversiones del control

Visitantes de la variante

Conversiones de la variante

Nivel de confianza

Cargando calculadora…

Cómo funciona

p̂ = (cA + cB) ÷ (nA + nB) · EE = √[p̂(1 − p̂)(1/nA + 1/nB)] · z = (pB − pA) ÷ EE · valor p = 2 × (1 − Φ(|z|))

Para saber si un test A/B es significativo se usa una prueba z de dos proporciones. Primero se combinan las dos tasas de conversión en una sola estimación; luego se mide cuántos errores estándar separan las tasas observadas (el estadístico z) y, con la distribución normal, se convierte en un valor p de dos colas. El resultado es significativo cuando el valor p queda por debajo del umbral que eliges (5% para una confianza del 95%): una brecha así sería poco probable si las dos versiones convirtieran en realidad igual.

Ejemplo resuelto

Diego prueba un botón nuevo. Control: 100 compras de 2,000 visitas (5.00%). Variante: 140 de 2,000 (7.00%). La tasa combinada es p̂ = 240 ÷ 4,000 = 0.06 y EE = √[0.06 × 0.94 × (1/2,000 + 1/2,000)] ≈ 0.00751. Entonces z = (0.07 − 0.05) ÷ 0.00751 ≈ 2.663 y p ≈ 0.0077, por debajo de 0.05: la mejora relativa del 40% es significativa al 95%.

Fuentes: Two-proportion z-test — Wikipedia

Preguntas frecuentes

¿Qué significa realmente el valor p?

Es la probabilidad de ver una diferencia al menos así de grande solo por azar si las dos versiones convirtieran en realidad igual. Un valor p pequeño (menor que 0.05 para 95% de confianza) indica que las versiones difieren; no es la probabilidad de que la variante sea mejor.

¿Cuánto tiempo debo dejar corriendo el test antes de fiarme?

Espera a alcanzar el tamaño de muestra que planeaste y cubre ciclos completos del negocio (semanas enteras) para incluir entre semana y fines de semana. Mirar antes de tiempo y detenerlo en cuanto p baja de 0.05 multiplica los falsos positivos.

¿La prueba es de una cola o de dos colas?

De dos colas: comprueba si las tasas difieren en cualquier dirección, que es la opción segura. Una prueba de una cola solo detecta mejoras y reduce el valor p a cerca de la mitad, así que úsala solo si una caída es imposible o irrelevante.

Calculadoras relacionadas

Calculadora de prueba z para dos proporciones

Compara dos proporciones con la prueba z de proporción combinada: obtén el estadístico z, el valor p bilateral y si la diferencia es estadísticamente significativa.

Calculadora de tamaño de muestra para test A/B

Calcula cuántos visitantes por variante necesita tu test A/B para detectar una mejora mínima en la tasa de conversión con el nivel de confianza y la potencia que elijas.

Calculadora de incremento de la tasa de conversión (uplift)

Compara la tasa de conversión del control y de la variante y obtén el incremento absoluto en puntos porcentuales y el relativo en %, las dos cifras que más se confunden.

Calculadora de puntuación Z

Convierte un valor en su puntuación Z, es decir, a cuántas desviaciones estándar está por encima o por debajo de la media, y obtén su percentil en la curva normal.

Esta calculadora tiene fines informativos. Verifica los resultados importantes antes de tomar decisiones.