Calculatrice d'Entropie de Shannon (Information en Bits, Perplexité, Impureté de Gini)

Ce que fait cet outil

L'entropie de Shannon mesure l'imprévisibilité d'un résultat, en bits : le nombre moyen de questions oui/non bien choisies pour savoir ce qui s'est passé. Une pièce équilibrée vaut 1 bit, un dé équilibré 2,585 bits, et des probabilités ½, ¼, ⅛, ⅛ donnent exactement 1,75 bit. L'entropie est maximale quand tous les résultats sont équiprobables et tombe à zéro quand un résultat est certain. La perplexité, 2 puissance l'entropie, est le nombre de résultats équiprobables aussi imprévisibles ; l'impureté de Gini, 1 − Σp², est sa cousine utilisée pour couper les nœuds des arbres de décision. Saisissez des effectifs ou des pourcentages : ils sont normalisés pour vous.

Formule

H = −Σ pᵢ log₂ pᵢ · H_max = log₂ k · perplexity = 2ᴴ · Gini impurity = 1 − Σ pᵢ²

Variables

Exemple résolu

Limites

• Le calcul est mené en pleine précision et seul l'affichage est arrondi. Si vous recopiez une valeur intermédiaire, de petits écarts peuvent apparaître.
• Les valeurs par défaut sont des références typiques, pas des mesures de votre situation. Remplacez-les par vos propres données dès que possible.