Martes 20 de octubre de 2026 ·
Uzu acelera cuatro veces la inferencia local de LLM frente a llama.cpp en un MacBook Pro M5
Útil para
Una prueba con el modelo Qwen3.5 9B en un MacBook Pro M5 base comparó tres motores de inferencia local. llama.cpp alcanzó 22,0 tokens por segundo, MLX 25,1 y Uzu 92,1. Uzu supera el límite de ancho de banda de memoria mediante decodificación especulativa optimizada para Apple Silicon, que propone varios tokens a la vez y los verifica con el modelo completo.
Qué significa
Los modelos de lenguaje que corren en el propio equipo, sin enviar datos a la nube, podrían responder mucho más rápido en portátiles Apple. El salto se atribuye a una técnica de software y no a más hardware, lo que puede cambiar qué modelos resultan prácticos en local.
Cómo te afecta
- Programadores
Si usas llama.cpp en el Mac para tareas locales, compara antes de cambiar: los 92,1 tokens por segundo de Uzu salen de una prueba con Qwen3.5 9B en un M5 base, y el resumen no dice quién la hizo. Mídelo con tu propio modelo y tu flujo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Daily Dose of Data ScienceLeer la noticia completa en Daily Dose of Data Science
También ese día
Todas las noticias de IA del martes 20 de octubre de 2026 ->