Calculadora de la función softmax
Aplica softmax a una lista de logits con temperatura opcional: probabilidad de cada clase, clase más probable, log-sum-exp y entropía de la distribución resultante.
Cómo funciona
softmax(z)ᵢ = e^(zᵢ/T) ÷ Σⱼ e^(zⱼ/T), calculado como e^(zᵢ/T − máx) por estabilidad numérica; log-sum-exp = máx + ln Σ e^(zⱼ/T − máx); H = −Σ pᵢ log₂ pᵢ
Softmax convierte un vector de puntuaciones sin normalizar (logits) de una red neuronal en una distribución de probabilidad: todas las salidas son positivas y suman 1, y los logits más grandes reciben un peso exponencialmente mayor. Dividir los logits entre una temperatura T es la forma en que los modelos de lenguaje controlan la aleatoriedad: con T < 1 domina la clase principal y con T > 1 la probabilidad se reparte de forma más pareja. Restar primero el logit máximo da el mismo resultado sin desbordamientos.
Ejemplo resuelto
Los logits 2.0, 1.0 y 0.1 con T = 1 dan probabilidades de 65.90%, 24.24% y 9.86%; la clase 1 es la principal con 65.90%, el log-sum-exp es 2.4170 y la entropía es 1.2216 bits.
Fuentes: Goodfellow, Bengio & Courville, Deep Learning (MIT Press), §6.2.2.3 Softmax units · Softmax function — Wikipedia
Preguntas frecuentes
¿Qué hace la temperatura?
Divide cada logit antes de aplicar la exponencial. Una temperatura baja (por ejemplo 0.2) concentra la distribución en el logit más grande; una alta (por ejemplo 2) la acerca a una distribución uniforme. T = 1 es el softmax normal.
¿Por qué se resta el logit máximo?
e^1000 desborda el rango de los números de punto flotante. Restar el mayor logit no cambia el resultado matemático y mantiene todos los exponentes ≤ 0.
¿Softmax o sigmoide?
La sigmoide da probabilidades independientes para cada etiqueta (problemas multietiqueta); softmax da probabilidades de clases mutuamente excluyentes que suman 1.
¿Qué indica la entropía?
Qué tan incierta es la distribución: 0 bits significa que una clase tiene toda la probabilidad; log₂(número de clases) significa que todas son igual de probables.
Calculadoras relacionadas
Esta calculadora tiene fines informativos. Verifica los resultados importantes antes de tomar decisiones.