Viernes 16 de octubre de 2026 ·
AbridgeKV: comprimir el razonamiento largo en la caché KV de tokens de pausa aprendidos
Útil para
La decodificación de cadenas de razonamiento largas está limitada por memoria, porque la caché KV crece linealmente con el cómputo. AbridgeKV entrena al modelo para comprimir cada bloque de texto generado en las entradas KV de unos pocos tokens de pausa con embeddings aprendidos, y luego libera la caché original del bloque. En 446 problemas de competición (AIME, HMMT, AMC, entre otros) con generaciones de 32K tokens, conservar una cuarta parte de la caché iguala en precisión y longitud de salida a un modelo con caché completa, mientras que el compresor entrenado más cercano pierde 10 puntos.
Qué significa
Modelos que generan razonamientos muy largos podrían funcionar con mucha menos memoria sin perder precisión, según los resultados reportados en problemas matemáticos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del viernes 16 de octubre de 2026 ->