Calculadora de la Entropía de Shannon (Información en Bits, Perplejidad, Impureza de Gini)
La entropía en bits de hasta seis resultados a partir de sus frecuencias o probabilidades, con el máximo, la eficiencia, la perplejidad y la impureza de Gini.
Resultados
Qué hace esta herramienta
La entropía de Shannon mide cuán impredecible es un resultado, en bits: el número medio de preguntas de sí/no bien elegidas para saber qué ocurrió. Una moneda justa tiene 1 bit, un dado justo 2,585 bits, y un caso con probabilidades ½, ¼, ⅛, ⅛ tiene exactamente 1,75 bits. La entropía es máxima cuando todos los resultados son igual de probables y cae a cero cuando un resultado es seguro. La perplejidad, 2 elevado a la entropía, es el número de resultados equiprobables que serían igual de impredecibles; la impureza de Gini, 1 − Σp², es la prima que se usa para dividir nodos en los árboles de decisión. Introduzca recuentos o porcentajes: se normalizan solos.
Fórmula
H = −Σ pᵢ log₂ pᵢ · H_max = log₂ k · perplexity = 2ᴴ · Gini impurity = 1 − Σ pᵢ²
Variables
| Símbolo | Significado | Unidad |
|---|---|---|
w1 | Resultado 1 — frecuencia o probabilidad | — |
w2 | Resultado 2 — frecuencia o probabilidad | — |
w3 | Resultado 3 — frecuencia o probabilidad | — |
w4 | Resultado 4 — frecuencia o probabilidad | — |
w5 | Resultado 5 — frecuencia o probabilidad | — |
w6 | Resultado 6 — frecuencia o probabilidad | — |
H | Entropía (bits) | bits |
HM | Entropía máxima para ese número de resultados | bits |
EF | Eficiencia (entropía ÷ máximo) | % |
PP | Perplejidad (resultados equiprobables equivalentes) | — |
GI | Impureza de Gini | — |
K | Resultados que pueden ocurrir | — |
Ejemplo resuelto
- Resultado 1 — frecuencia o probabilidad50
- Resultado 2 — frecuencia o probabilidad25
- Resultado 3 — frecuencia o probabilidad12,5
- Resultado 4 — frecuencia o probabilidad12,5
- Resultado 5 — frecuencia o probabilidad0
- Resultado 6 — frecuencia o probabilidad0
- Entropía (bits)1,7500 bits
- Entropía máxima para ese número de resultados2,0000 bits
- Eficiencia (entropía ÷ máximo)87,5 %
- Perplejidad (resultados equiprobables equivalentes)3,364
- Impureza de Gini0,6563
- Resultados que pueden ocurrir4
Limitaciones
- El cálculo se realiza con precisión total y solo se redondea la presentación. Si copia un valor intermedio y lo vuelve a escribir, pueden aparecer pequeñas diferencias.
- Los valores por defecto son referencias típicas, no mediciones de su situación. Sustitúyalos por sus propios datos siempre que los tenga.