Miércoles 21 de octubre de 2026 ·

Un modelo MoE de 35B funciona a 20,5 tokens por segundo en un iPhone 18 Pro Max con la técnica LES de OpenBMB

Relevancia 33 de 100

Útil para Programadores 80%

OpenBMB ejecuta en local su modelo MiniCPM-V 4.7, un MoE de 35B con 3B activos, mediante Lookahead Expert Scheduling, que precarga desde el almacenamiento flash los pesos de los expertos que el siguiente capa necesitará. Sin cambiar el enrutamiento ni eliminar expertos, alcanza 20,51 tokens por segundo, 6,07 veces más que la base de 3,38. Los pesos de los expertos son un 26,7 % más pequeños con una caída de solo 0,16 puntos en cinco benchmarks, y el pico de memoria ronda los 3 GB. La implementación es de código abierto en llama.cpp-omni.

Qué significa

Hace más viable ejecutar modelos grandes en el móvil sin depender de la nube, porque el cuello de botella era leer los pesos desde el almacenamiento. El enfoque podría aplicarse también a otros modelos MoE.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 21 de octubre de 2026 ->