Calculadora de efecto mínimo detectable: qué mejora puede detectar tu test A/B
Calcula el efecto mínimo detectable (MDE) de un test A/B según la tasa de conversión base, los visitantes por variante, el nivel α y la potencia, en valor absoluto y relativo.
Cómo funciona
MDE = (z₁₋α/colas + z_potencia) × √[2 × p × (1 − p) ÷ n] · MDE relativo = MDE ÷ p, donde p es la tasa de conversión base y n los visitantes por variante
Antes de lanzar un test A/B, el efecto mínimo detectable te dice qué mejoras puedes llegar a ver con el tráfico que tienes. Una tasa base baja y una muestra chica lo disparan: con una conversión del 4% y 20,000 visitantes por variante solo se detectan aumentos relativos de alrededor del 14%. Si la mejora que esperas de forma realista es menor que el MDE, lo más probable es que el experimento termine sin un resultado concluyente, por mucho que lo dejes correr.
Ejemplo resuelto
La tienda en línea de Luis convierte al 4% y puede mandar 20,000 visitantes a cada variante. Con α = 5% bilateral y 80% de potencia, el error estándar de la diferencia es √(2 × 0.04 × 0.96 ÷ 20,000) = 0.196% y el MDE queda en (1.96 + 0.84) × 0.196 = 0.55 puntos porcentuales, un 13.7% relativo: la variante tendría que convertir al 4.55% (o bajar al 3.45%) para detectarse. Para ver una mejora relativa del 10% necesitaría 37,675 visitantes por variante, y para una del 5%, 150,699.
Preguntas frecuentes
¿Uso una prueba bilateral o unilateral?
La bilateral es la opción segura por defecto. La unilateral solo se justifica si nunca tomarías una decisión en caso de que la variante empeore.
¿Este cálculo tiene en cuenta revisar el test antes de tiempo?
No. Los tests de horizonte fijo suponen que miras el resultado una sola vez, al final. Los métodos secuenciales, que permiten revisar sobre la marcha, necesitan muestras más grandes.
¿Qué diferencia hay entre el MDE absoluto y el relativo?
El absoluto se mide en puntos porcentuales (de 4% a 4.55% son 0.55 puntos); el relativo lo expresa como proporción de la tasa base (0.55 ÷ 4 = 13.7%). Las herramientas de testing suelen pedir el relativo.
¿Cómo bajo el efecto mínimo detectable?
Aumenta el tráfico por variante, usa una métrica con tasa base más alta o acepta un α mayor o una potencia menor. Duplicar la muestra reduce el MDE en un factor de √2, es decir, alrededor de un 29%.
Calculadoras relacionadas
Herramienta educativa: revisa los supuestos (tamaño de muestra, distribución, independencia) antes de usar el resultado de una prueba en una decisión real.