Miércoles 28 de octubre de 2026 ·
llama.cpp (build b11963): argmax por grupo de trabajo para TOP_K corto en SYCL, hasta 18,5 veces más rápido
Útil para
Un cambio en el proyecto llama.cpp optimiza en SYCL la selección de los k candidatos más probables en filas cortas, con un argmax por grupo de trabajo. Según las pruebas del autor en una GPU Arc Pro B70, la mejora va de 6,85 a 18,51 veces en filas de 16 y 128 columnas y de 1,13 a 1,95 veces en filas de 1024 columnas, con una caída de 3,7% en un caso. Los tests de TOP_K y ARGSORT pasan completos.
Qué significa
Quien ejecute modelos de lenguaje locales en GPUs Intel con SYCL tendrá una generación de tokens con menos latencia en la selección de candidatos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub ggml-org/llama.cppLeer la noticia completa en GitHub ggml-org/llama.cpp
También ese día
Todas las noticias de IA del miércoles 28 de octubre de 2026 ->