Tamaño de muestra para test A/B: cuántos visitantes necesita cada variante
Calcula cuántos visitantes por variante necesita tu test A/B para detectar una mejora mínima en la tasa de conversión con el nivel de confianza y la potencia que elijas.
Cómo funciona
n por variante = (z_α/2 + z_β)² × [p₁(1 − p₁) + p₂(1 − p₂)] ÷ (p₂ − p₁)² · p₁ = tasa base · p₂ = p₁ × (1 + mejora relativa)
Cuatro palancas definen el tamaño de muestra de un experimento A/B: la tasa de conversión actual, la mejora más pequeña que quieres detectar, el nivel de confianza (que fija z_α/2) y la potencia (que fija z_β). Detectar mejoras pequeñas sale carísimo porque la diferencia entre tasas va al cuadrado en el denominador: si reduces a la mitad la mejora que te interesa, necesitas cerca de cuatro veces más visitantes. Define estos números antes de lanzar la prueba para no detenerla en un momento engañoso.
Ejemplo resuelto
La tienda en línea de Mariana convierte al 5% y quiere detectar una mejora relativa del 20%, es decir, llegar al 6%. Con 95% de confianza (z = 1.96) y 80% de potencia (z = 0.8416): n = (1.96 + 0.8416)² × [0.05 × 0.95 + 0.06 × 0.94] ÷ 0.01² = 7.849 × 0.1039 ÷ 0.0001 ≈ 8,155.1, que se redondea hacia arriba a 8,156 visitantes por variante, 16,312 en total.
Preguntas frecuentes
¿La mejora es absoluta o relativa?
Relativa. Una mejora del 20% sobre una tasa base del 5% significa detectar un aumento al 6% (5% × 1.20), no al 25%. Así se suelen plantear los objetivos de un experimento, por ejemplo "aumentar los registros un 20%".
¿Qué nivel de confianza y potencia debo elegir?
Lo habitual es 95% de confianza y 80% de potencia: un 5% de falsos positivos y un 20% de probabilidad de no ver un efecto real. Para decisiones importantes sube la potencia al 90%, aunque necesitarás más visitantes.
¿Por qué me pide un tamaño de muestra tan grande?
Las tasas de conversión bajas y las mejoras pequeñas inflan mucho el número. Si no es viable, apunta a detectar una mejora mayor o acepta un nivel de confianza más bajo; con un efecto realmente diminuto no hay forma de evitar la estadística.
¿Cuánto tiempo debe durar un test A/B?
Divide los visitantes totales entre tu tráfico diario para obtener los días mínimos, y redondea a semanas completas para que el test incluya días hábiles y fines de semana.
Calculadoras relacionadas
Esta calculadora tiene fines informativos. Verifica los resultados importantes antes de tomar decisiones.