Calculadora da Entropia de Shannon (Informação em Bits, Perplexidade, Impureza de Gini)

O que faz esta ferramenta

A entropia de Shannon mede quão imprevisível é um resultado, em bits: o número médio de perguntas de sim/não bem escolhidas para saber o que aconteceu. Uma moeda justa tem 1 bit, um dado justo 2,585 bits, e um caso com probabilidades ½, ¼, ⅛, ⅛ tem exatamente 1,75 bits. A entropia é máxima quando todos os resultados são igualmente prováveis e cai para zero quando um resultado é certo. A perplexidade, 2 elevado à entropia, é o número de resultados equiprováveis que seriam igualmente imprevisíveis; a impureza de Gini, 1 − Σp², é a prima usada para dividir nós nas árvores de decisão. Introduza contagens ou percentagens — são normalizadas por si.

Fórmula

H = −Σ pᵢ log₂ pᵢ · H_max = log₂ k · perplexity = 2ᴴ · Gini impurity = 1 − Σ pᵢ²

Variáveis

Exemplo resolvido

Limitações

• O cálculo é feito com precisão total e apenas a apresentação é arredondada. Se copiar um valor intermédio e voltar a escrevê-lo, podem surgir pequenas diferenças.
• Os valores por defeito são referências típicas e não medições da sua situação. Substitua-os pelos seus próprios dados sempre que os tiver.