Viernes 23 de octubre de 2026 ·

Virtual Head Attention, nueva atención para modelos de lenguaje de contexto largo

Relevancia 33 de 100

Investigadores proponen Virtual Head Attention (VHA), una variante de la atención de los LLM que combina dos operaciones lineales ligeras para mejorar a la vez el tamaño de la caché KV, el coste de entrenamiento y la calidad del modelo. Con grupos de dos cabezas KV, la caché es 4 veces menor que GQA-8 en modelos densos y 2 veces menor que GQA-4 en el modelo MoE. En pruebas con 50.000 millones de tokens, supera a GQA en todas las escalas (de +0,05 % a +0,81 %) y reduce un 7,9 % los FLOPs de entrenamiento y prefill en el modelo de 1.7B.

Qué significa

Los modelos de contexto largo podrían necesitar menos memoria y cómputo sin perder calidad, y la técnica reutiliza las optimizaciones de inferencia que ya existen para GQA.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del viernes 23 de octubre de 2026 ->