Un mini PC Snapdragon de 300 libras ejecuta un modelo de programación de 35B y otro de 80B solo con CPU
Un usuario probó el Lenovo IdeaCentre Mini (Snapdragon X1-26-100, 32 GB de RAM, 299,99 libras, solo CPU). El modelo Qwen3.6 35B A3B genera unos 24,5 tokens/s (unos 30 con MTP), y el Qwen3-Next 80B A3B unos 17-18 tokens/s con MTP, aunque no cabe en la RAM. Para ello adaptó Janas, que guarda en caché los expertos MoE en RAM y transmite el resto desde el NVMe, al ARM con kernels NEON.
Qué significa
Quien tenga un equipo barato de ARM con Windows podría ejecutar modelos locales grandes sin GPU, aunque a velocidades modestas. El autor indica que sus cifras de lectura del 80B aún no son fiables y que los cambios para ARM todavía no están publicados.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA