Viernes 30 de octubre de 2026 ·
LRMoE reduce entre un 21% y un 45% el tiempo de entrenamiento de modelos MoE con memoria GPU limitada
Presentan LRMoE, un sistema que entrena modelos de mezcla de expertos (MoE) recalibrando qué pares token-experto se usan en la retropropagación, para reducir desequilibrios de carga y uso de memoria. En Qwen3-30B-A3B y GLM4.5-106B-A12B, reduce el tiempo total de entrenamiento hasta alcanzar un objetivo de pérdida entre un 21,2% y un 44,8% frente a SYMI. Está pensado para nodos con memoria GPU limitada.
Qué significa
Entrenar modelos MoE grandes en hardware con poca memoria resulta más rápido y barato, lo que facilita que equipos con menos recursos experimenten con este tipo de modelos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.AILeer la noticia completa en arXiv cs.AI
También ese día
Todas las noticias de IA del viernes 30 de octubre de 2026 ->