Jueves 29 de octubre de 2026 ·
EnergyCal: nuevo método de optimización para evitar picos de pérdida al entrenar modelos MoE de lenguaje
FA Research presenta EnergyCal, una técnica que busca reducir los picos repentinos de la función de pérdida durante el entrenamiento de modelos de lenguaje con arquitectura Mixture-of-Experts (MoE). Los experimentos se hicieron con 8 GPU NVIDIA H100 y un modelo MoE de unos 4.000 millones de parámetros entrenado desde cero, usando los optimizadores Muon y MuonH. El método mantiene la dirección de la actualización y ajusta solo su intensidad.
Qué significa
Un entrenamiento más estable evita que los picos de pérdida interrumpan o empeoren el desarrollo de modelos grandes, algo que afecta sobre todo a equipos que entrenan LLM con recursos de cómputo limitados.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ
También ese día
Todas las noticias de IA del jueves 29 de octubre de 2026 ->