Janas-LLM ejecuta un MoE de 48,4 GB en un portátil de 32 GB usando NVMe
Janas-LLM, un motor de inferencia en C de Maurizio Cammalleri, lee desde un SSD NVMe los expertos que necesita de un modelo MoE y mantiene en RAM los más usados. Según el desarrollador, ejecutó Qwen3-Next-80B-A3B (48,4 GB) en un portátil con Core Ultra 9 185H y 32 GB de RAM. Su comparación reporta 24 tok/s frente a 2,8 tok/s de llama.cpp, en una sola máquina y con condiciones de medición distintas.
Qué significa
Permite probar modelos más grandes que la RAM en un equipo de consumo, pero el resultado de velocidad depende de la configuración del autor y no es una cifra general.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ