Miércoles 14 de octubre de 2026

llama.cpp añade un kernel CUDA/HIP por bloques para GDN que acelera el prefill

La PR #29353 de llama.cpp incorpora un kernel "chunked" para GDN (Gated DeltaNet) en los backends CUDA y HIP, incluido en la versión b11632, con soporte MMA activado en SM86 (Ampere) y SM89 (Ada). Según benchmarks publicados por un usuario de Reddit, el procesamiento de prompt mejora un 16-21 % con Qwen3.5-35B-A3B en RTX PRO 6000 y RTX 5090, un 11 % en la RTX 4090 y entre un 1 % y un 6 % en el resto de configuraciones. Las cifras son del autor de la publicación y no están verificadas de forma independiente.

Fuentes

• GitHub ggml-org/llama.cppggml-org/llama.cpp: b11632: cuda, hip: GDN chunked kernel (#29353)
• Reddit r/LocalLLaMAcuda, hip: GDN chunked kernel by am17an · Pull Request #29353 · ggml-org/llama.cpp