Dos errores numéricos en Softmax y Cross-Entropy que afectan a PyTorch, JAX y TensorFlow
Útil para
Un artículo de investigadores de Google DeepMind publicado en arXiv el 22 de octubre de 2026 señala dos fallos de redondeo en las implementaciones estándar de Softmax y Cross-Entropy, que provocan gradientes incorrectos en determinadas condiciones aunque las fórmulas sean correctas. El autor los reprodujo en un Mac con PyTorch 2.14.1 y JAX, y comprobó que la versión corregida, de unas pocas líneas, da gradientes correctos. En sus pruebas, la pérdida con el método estándar saltó 21,3 veces de media en 30.000 pasos frente a cero con la versión corregida, y en LLM con fp32 los tokens problemáticos fueron muy pocos.
Qué significa
Los entrenamientos que dependen de estas funciones pueden desviarse sin aviso en casos concretos, y el arreglo consiste en cambiar el orden de los cálculos. En los LLM medidos el efecto es pequeño, así que funciona más como salvaguarda que como mejora de rendimiento.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ