Calculadora de entropía de Shannon: información e incertidumbre de una distribución
Calcula la entropía de Shannon de una distribución a partir de frecuencias o probabilidades: bits, nats, perplejidad, entropía máxima y entropía normalizada (equidad).
Cómo funciona
H = −Σ pᵢ × log₂ pᵢ (en bits) · H_máx = log₂ k · Perplejidad = 2ᴴ · Equidad = H ÷ H_máx · Gini-Simpson = 1 − Σ pᵢ²
La entropía de Shannon mide la información promedio, o la incertidumbre, que hay en una extracción al azar de una distribución. Un resultado seguro tiene 0 bits, una moneda justa 1 bit y un dado justo de seis caras 2.58 bits. La perplejidad convierte la entropía en un «número efectivo de resultados igual de probables», que es como se evalúan los modelos de lenguaje. La entropía normalizada es la medida de equidad que se usa en ecología y la base de la ganancia de información en los árboles de decisión.
Ejemplo resuelto
En una encuesta, 50 personas eligen la opción A, 25 la B, 15 la C y 10 la D, es decir, probabilidades de 0.50, 0.25, 0.15 y 0.10. La entropía es 0.5 × 1 + 0.25 × 2 + 0.15 × 2.737 + 0.10 × 3.322 = 1.7427 bits (1.2080 nats), frente a un máximo de log₂ 4 = 2 bits. La equidad es 1.7427 ÷ 2 = 0.8714 y la perplejidad 2^1.7427 = 3.347: hay tanta incertidumbre como al elegir entre unas 3.3 opciones igual de probables. La impureza de Gini-Simpson es 0.6550.
Preguntas frecuentes
¿Bits, nats o dits?
Solo cambia la base del logaritmo: los bits usan log₂, los nats el logaritmo natural y los dits log₁₀. Para pasar de bits a nats, multiplica por 0.693.
¿Qué relación tiene con los índices de diversidad?
El índice de diversidad de Shannon que se usa en ecología es la misma fórmula expresada en nats, y exp(H) es el número efectivo de especies.
¿Cuál es la entropía máxima de una distribución?
Se alcanza cuando todas las categorías son igual de probables y vale log₂ k bits. Con 4 categorías el máximo es 2 bits y con 8 categorías, 3 bits.
¿Qué significa una entropía de 0?
Que no hay ninguna incertidumbre: una sola categoría tiene probabilidad 1 y las demás 0, así que el resultado se conoce de antemano.
Calculadoras relacionadas
Esta calculadora tiene fines informativos. Verifica los resultados importantes antes de tomar decisiones.