Sábado 7 de noviembre de 2026 ·
llama.cpp: la caché MoE calcula en CPU parte de los fallos y añade un script para ajustar sus parámetros
Útil para
La versión b12191 de llama.cpp permite que una parte de los fallos de la caché MoE se calcule en la CPU desde los expertos del host, en lugar de subirlos a la GPU. La opción --moe-cache-cpu-share controla qué fracción de los fallos va a la CPU. Incluye también el script moe-cache-tune.py, que prueba distintos tamaños de caché y reparto de CPU y recomienda valores para --moe-cache-mib y --moe-cache-cpu-share.
Qué significa
Quien ejecuta modelos MoE con llama-server en su equipo puede repartir el cálculo entre GPU y CPU sin elegir los valores a mano, porque el script propone una combinación según la velocidad de la máquina.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub ggml-org/llama.cppLeer la noticia completa en GitHub ggml-org/llama.cpp
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
También ese día
Todas las noticias de IA del sábado 7 de noviembre de 2026 ->