Calculadora de Significación de Tests A/B

Qué hace esta herramienta

Un test en el que B convierte un 13 % y A un 10 % parece una victoria clara, pero con unos cientos de visitantes esa diferencia aparece por azar con una frecuencia sorprendente. La prueba z de dos proporciones pregunta lo probable que sería una diferencia al menos así de grande si las dos versiones fueran en realidad iguales; por debajo de 0,05 la convención habitual la llama significativa. Decida el tamaño de muestra antes de empezar y no pare el test en cuanto cruce la línea: mirar una y otra vez infla los falsos positivos. El gráfico muestra el valor p para otros números de conversiones en B.

Fórmula

z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)) · p-value = 2(1 − Φ(|z|))

Variables

Ejemplo resuelto

Limitaciones

• La desviación típica y la varianza se calculan para una muestra (dividiendo por n − 1). Para una población completa, divida por n.
• El resultado es una estimación basada solo en los valores introducidos. Las situaciones reales suelen incluir factores que esta calculadora desconoce.