La caché KV, y no el modelo, limita la concurrencia de los LLM en la GPU
Útil para
El artículo explica que la lentitud de un LLM suele deberse a la caché KV, que ocupa memoria de la GPU según crece el contexto. Esa ocupación limita cuántas peticiones pueden atenderse a la vez. Describe qué almacena esa caché y qué soluciones son las más eficaces para reducir el problema.
Qué significa
Quien sirve modelos de lenguaje con muchas peticiones simultáneas verá que la memoria de la GPU, más que la velocidad del modelo, marca el límite de concurrencia.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Generative AI - MediumLeer la noticia completa en Generative AI - Medium