Viernes 23 de octubre de 2026 ·

Tantor Labs y Боцман presentan una caché KV de IA en almacenamiento NVMe sin usar DRAM

Relevancia 41 de 100

Las empresas Tantor Labs y Боцман, ambas del grupo Astra, presentan una tecnología que traslada la caché KV de los modelos de lenguaje desde la memoria HBM de la GPU a almacenamiento NVMe mediante RDMA, sin usar DRAM. Un módulo hardware dedicado accede a esos datos por clave y reduce la carga sobre las CPU del servidor. Así se reutilizan cálculos previos y se bajan la latencia y el coste de los servicios de IA corporativos.

Qué significa

Las empresas que ofrecen IA a muchos usuarios podrían atender más peticiones con la misma GPU, porque la caché que antes ocupaba la memoria de la tarjeta se guarda en almacenamiento rápido.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del viernes 23 de octubre de 2026 ->