Miércoles 14 de octubre de 2026 ·
Transferencia de caché KV basada en push para mejorar TTFT y TPOT en inferencia desagregada con vLLM
Útil para
vLLM separa la inferencia de modelos de lenguaje en una fase de prefill, que procesa el prompt y construye la caché KV, y una fase de decode, que genera token a token, ejecutadas en instancias distintas. Esa separación obliga a mover la caché KV entre instancias, lo que afecta al tiempo hasta el primer token (TTFT). El texto describe el conector NIXL sobre RDMA, por ejemplo con AWS EFA, y su modo por defecto, pull, en el que la instancia de decode recupera la caché tras el prefill. El texto se corta antes de describir el modo push.
Qué significa
Quien ejecute inferencia desagregada en vLLM sobre AWS EFA depende de este mecanismo de transferencia para el tiempo hasta el primer token.
Cómo te afecta
- Programadores
El texto propone una transferencia de caché KV en modo push, frente al modo pull que es el predeterminado del conector NIXL en vLLM. Si sirves modelos con prefill y decodificación separados, mide el TTFT con y sin ese cambio en tu propio despliegue antes de tocar producción.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- vLLM BlogLeer la noticia completa en vLLM Blog
- AWS Machine Learning BlogLeer la noticia completa en AWS Machine Learning Blog
- AWS Machine Learning BlogLeer la noticia completa en AWS Machine Learning Blog
También ese día
Todas las noticias de IA del miércoles 14 de octubre de 2026 ->