llama.cpp (b11730): CUDA limita los bloques Stream-K de MMQ al trabajo disponible
Útil para
El cambio hace que el kernel MMQ de CUDA lance solo tantos bloques Stream-K como iteraciones de bloques K existan, en lugar de uno por SM. En matrices pequeñas esto evita bloques sin trabajo y reduce la sobrecarga de lanzamiento y de corrección. Los tests MUL_MAT y MUL_MAT_ID pasan en una RTX 5090, y el autor indica que las iteraciones parciales pueden cambiar el orden de suma en FP32.
Qué significa
Quien ejecute modelos locales con GPU NVIDIA obtiene una pequeña mejora de eficiencia en operaciones con matrices pequeñas. Es un ajuste interno del motor, no una función nueva.
Cómo te afecta
- Programadores
Con llama.cpp compilado con CUDA en una GPU NVIDIA, la build b11730 mejora operaciones con matrices pequeñas, probado en una RTX 5090. Las iteraciones parciales pueden cambiar el orden de suma en FP32, así que no esperes resultados bit a bit idénticos a builds anteriores al comparar salidas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub ggml-org/llama.cppLeer la noticia completa en GitHub ggml-org/llama.cpp