Domingo 25 de octubre de 2026 ·

llama.cpp acelera la inferencia en CUDA entre un 2 % y un 11 % según la GPU

Relevancia 51 de 100

Útil para Programadores 85%

El pull request #29948 de llama.cpp, de anujj, fusiona en CUDA las multiplicaciones de matrices de las capas FFN gate/up y la GLU dentro de MMQ, usando filas intercaladas. En pruebas con llama-bench, la DGX Spark (GB10) mejora entre un 4,6 % y un 10,7 % en tokens por segundo, y la RTX 5090 entre un 1,9 % y un 4,7 %, con modelos Qwen3.6 y Qwen3.8 de 27B y Llama-3.1-8B. Las mejoras aparecen en distintos formatos de cuantización, como Q4_K_M, Q5_K_M, Q6_K, Q8_0 e IQ4_XS.

Qué significa

Quien ejecuta modelos locales con llama.cpp en GPU NVIDIA obtiene respuestas algo más rápidas sin cambiar de hardware ni de modelo, y la mejora es mayor en la DGX Spark que en la RTX 5090.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del domingo 25 de octubre de 2026 ->