Miércoles 28 de octubre de 2026 ·
uzu alcanza 92 tokens por segundo con Qwen3.5 9B en un MacBook Pro M5, unas cuatro veces más que llama.cpp
Útil para
El motor de inferencia uzu ejecuta el modelo Qwen3.5 9B en un MacBook Pro M5 base a 92,1 tokens por segundo, frente a 22,0 de llama.cpp y 25,1 de MLX. Según el texto, llama.cpp y MLX chocan con el límite de ancho de banda de memoria (unos 29 tokens/s), mientras que uzu genera de media 7,5 tokens por cada pasada del modelo. Para ello usa un redactor pequeño (DFlash), un adaptador (Weaver) y una verificación en árbol por el propio modelo de 9B, que sigue decidiendo cada token.
Qué significa
Los modelos de lenguaje que corren en el propio portátil pueden responder unas cuatro veces más rápido sin cambiar de modelo, lo que acerca el uso local a una experiencia interactiva.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Daily Dose of Data ScienceLeer la noticia completa en Daily Dose of Data Science
También ese día
Todas las noticias de IA del miércoles 28 de octubre de 2026 ->