¿Es significativa la diferencia entre dos porcentajes? Prueba z con intervalo de confianza y aumento relativo
Averigua si la diferencia entre dos porcentajes o tasas de conversión es estadísticamente significativa: prueba z, valores p, intervalo de confianza de la diferencia y aumento relativo.
Cómo funciona
z = (p̂₂ − p̂₁) ÷ √[p̄(1 − p̄)(1 ÷ n₁ + 1 ÷ n₂)], con p̄ = (x₁ + x₂) ÷ (n₁ + n₂) · IC = (p̂₂ − p̂₁) ± z × √[p̂₁(1 − p̂₁) ÷ n₁ + p̂₂(1 − p̂₂) ÷ n₂]
La prueba z para dos proporciones es la herramienta básica de los tests A/B y de cualquier comparación de porcentajes entre dos grupos independientes. Bajo la hipótesis nula ambos grupos comparten la misma tasa, así que el error estándar se calcula con la proporción combinada p̄; el intervalo de confianza de la diferencia, en cambio, usa las tasas de cada grupo por separado. Es equivalente a la prueba chi cuadrado de una tabla 2×2 (z² = χ²). Para confiar en la aproximación normal, cada frecuencia esperada debe ser de al menos 10.
Ejemplo resuelto
Luis prueba dos versiones de una página de registro: la A convierte 210 de 5,000 visitas (4.20%) y la B 258 de 5,100 (5.06%). La proporción combinada es 468 ÷ 10,100 = 4.63% y el estadístico z vale 2.053, con un valor p bilateral de 0.0401 (0.0200 unilateral). La diferencia es de 0.86 puntos porcentuales, con un IC del 95% de 0.04 a 1.68, y equivale a un aumento relativo del 20.4%: significativa al 95%.
Preguntas frecuentes
¿Error estándar combinado o no combinado?
Combinado para el estadístico de prueba, porque la hipótesis nula supone tasas iguales; no combinado para el intervalo de confianza de la diferencia observada.
¿Puedo detener el test en cuanto p baje de 0.05?
No. Revisar el resultado una y otra vez infla los falsos positivos. Fija el tamaño de muestra de antemano con la calculadora de efecto mínimo detectable o usa un método secuencial.
¿Qué relación hay entre la prueba z de dos proporciones y el chi cuadrado?
Para una tabla 2×2 son la misma prueba: el chi cuadrado sin corrección es exactamente z², y el valor p bilateral coincide.
¿Qué pasa si las frecuencias esperadas son pequeñas?
Si alguna frecuencia esperada queda por debajo de 5 a 10, la aproximación normal deja de ser fiable y conviene usar la prueba exacta de Fisher.
Calculadoras relacionadas
Herramienta educativa: revisa los supuestos (tamaño de muestra, distribución, independencia) antes de usar el resultado de una prueba en una decisión real.