Viernes 6 de noviembre de 2026 ·

moe-cache: nueva caché LRFU/MQ en llama.cpp acelera la decodificación de modelos MoE

Relevancia 56 de 100

Útil para Programadores 85%

Un pull request de llama.cpp sustituye la caché SLRU por una ClassLRU que prioriza los expertos más usados, con un historial de uso que decae con el tiempo. Según las pruebas del autor, con la caché caliente la decodificación mejora un 6% en QFN y un 7% en GLM frente a SLRU, con un 8% menos de subidas de datos. El cambio habilita un modo automático para llama_moe_cache y depende de que se fusione otro PR.

Qué significa

Los modelos de mezcla de expertos (MoE) pueden correr más rápido en ordenadores con poca memoria de GPU, porque se reducen los expertos que hay que cargar. Beneficia sobre todo a quien ejecuta modelos grandes en local con llama.cpp.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del viernes 6 de noviembre de 2026 ->