Miércoles 28 de octubre de 2026 ·

Google DeepMind identifica dos fallos numéricos en softmax y cross-entropy y propone arreglos para PyTorch y JAX

Relevancia 47 de 100

Útil para Programadores 60%

Jonathan Barron, Dan Gnanapragasam y Michael Tschannen, de Google DeepMind, publicaron el 22 de octubre de 2026 el preprint « A Fix for Softmax and Cross-Entropy ». Describen dos defectos numéricos, Softmax Collapse y Softmax Cancellation, presentes en librerías estándar como PyTorch y JAX. Los arreglos propuestos mantienen la misma matemática, y el trabajo no concluye que las redes entrenadas hasta ahora hayan aprendido mal.

Qué significa

Quien entrena modelos con PyTorch o JAX podría ver que la red sigue aprendiendo de errores pequeños, en lugar de quedarse sin señal cuando ya casi acierta, sin cambiar la matemática del método.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 28 de octubre de 2026 ->