Calculadora de Significância de Testes A/B

O que faz esta ferramenta

Um teste em que B converte 13 % e A 10 % parece uma vitória clara, mas com umas centenas de visitantes essa diferença aparece por acaso com uma frequência surpreendente. O teste z de duas proporções pergunta quão provável seria uma diferença pelo menos desta dimensão se as duas versões fossem na verdade iguais; abaixo de 0,05 a convenção habitual diz que é significativa. Decida o tamanho da amostra antes de começar e não pare o teste mal passe a linha — espreitar vezes sem conta aumenta os falsos positivos. O gráfico mostra o valor p para outros números de conversões em B.

Fórmula

z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)) · p-value = 2(1 − Φ(|z|))

Variáveis

Exemplo resolvido

Limitações

• O desvio padrão e a variância são calculados para uma amostra (dividindo por n − 1). Para uma população completa, divida por n.
• O resultado é uma estimativa baseada apenas nos valores que introduziu. Situações reais incluem muitas vezes fatores que esta calculadora desconhece.