Miércoles 4 de noviembre de 2026 ·
FlagRot: rotación selectiva para cachés KV de baja precisión en modelos de lenguaje
Útil para
Los investigadores proponen FlagRot, un método que guarda cada bloque de 32 canales de las claves rotado o sin rotar, según cuál tenga menor error de atención. Con 2,5 bits por valor, reduce la divergencia KL de KIVI de 18,7 a 12,4 x 10^-3 en doce modelos, por debajo de RotateKV en 9 de 12. Como plugin de vLLM sube la precisión en RULER a 128k tokens en 2,9 puntos.
Qué significa
Permite comprimir la caché de memoria de los modelos de lenguaje en contextos largos con menos pérdida de precisión. Así se puede servir la inferencia con textos muy extensos usando menos memoria.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del miércoles 4 de noviembre de 2026 ->