Jueves 22 de octubre de 2026 ·

Pull request en llama.cpp acelera la decodificación especulativa en GPUs Intel B70

Relevancia 46 de 100

Útil para Programadores 85%

El pull request de budiony reorganiza los motores de matrices XMX de Intel para el backend SYCL de llama.cpp. El autor muestra que, con el modelo Muse Glimmer Q6_K de 30.000 millones de parámetros y DFlash2, las velocidades pasan de unos 36-53 tokens por segundo a unos 60-88 en las tareas medidas. La tasa de aceptación baja porque se subió el número máximo de tokens propuestos, lo que el autor atribuye a que verificar cuesta mucho menos.

Qué significa

Quien ejecute modelos de lenguaje en local con GPUs Intel de este tipo obtendrá respuestas más rápidas sin cambiar de modelo, por ejemplo al resumir textos o traducir.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del jueves 22 de octubre de 2026 ->