Calculatrice de Significativité de Test A/B

Ce que fait cet outil

Un test où B convertit à 13 % et A à 10 % ressemble à une victoire nette, mais avec quelques centaines de visiteurs un tel écart apparaît par hasard étonnamment souvent. Le test z de deux proportions demande quelle serait la probabilité d'un écart au moins aussi grand si les deux versions étaient en réalité identiques ; sous 0,05, la convention usuelle le dit significatif. Fixez la taille d'échantillon avant de commencer et n'arrêtez pas le test dès qu'il franchit la ligne — regarder sans cesse gonfle les faux positifs. Le graphique montre la valeur p pour d'autres nombres de conversions en B.

Formule

z = (p_B − p_A) ÷ √(p̂(1 − p̂)(1/n_A + 1/n_B)) · p-value = 2(1 − Φ(|z|))

Variables

Exemple résolu

Limites

• L'écart-type et la variance sont calculés pour un échantillon (division par n − 1). Pour une population entière, divisez par n.
• Le résultat est une estimation fondée uniquement sur les valeurs saisies. Les situations réelles comportent souvent des facteurs que cette calculatrice ignore.