SpecMem mantiene viva la memoria de llamadas a herramientas de agentes de IA y acelera hasta 1,74 veces
Útil para
Investigadores proponen SpecMem, una memoria de llamadas a herramientas que se actualiza durante el despliegue, con almacenes por usuario de tamaño limitado y expulsión LRU. Frente a un almacén fijo, mantiene mejor la tasa de tokens aceptados, con una diferencia media del 27% según el benchmark. Además, una puerta de control retiene las llamadas con efectos secundarios hasta verificarlas, lo que evita errores irreversibles.
Qué significa
Los agentes que usan herramientas responden con menor latencia en uso real, sin cambiar el resultado. Para quien desarrolla agentes, reduce la espera de cada acción automatizada y evita que se ejecuten acciones irreversibles antes de verificarlas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL