Martes 27 de octubre de 2026 ·
llama.cpp b11933: el backend Vulkan admite broadcast en la dimensión 3 de MUL_MAT
Útil para
Vulkan rechazaba cualquier MUL_MAT en el que src0 y src1 tuvieran distinto ne3, aunque los kernels mul_mm, mul_mmq y mul_mat_vec ya hacían broadcast en esa dimensión. Esas operaciones se ejecutaban en CPU con una copia del peso, y el reparto de capas cambiaba según el número de streams del ubatch. El cambio mantiene la comprobación estricta solo para MUL_MAT_ID, dirige los casos de broadcast lejos de mul_mat_vec_nc y añade tests con broadcast permutado.
Qué significa
Quien ejecuta modelos con llama.cpp en GPU con Vulkan evitará que ciertas multiplicaciones pasen a la CPU con copias de los pesos, lo que mejora el rendimiento en esos casos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub ggml-org/llama.cppLeer la noticia completa en GitHub ggml-org/llama.cpp
También ese día
Todas las noticias de IA del martes 27 de octubre de 2026 ->