vLLM v0.32.0 activa por defecto la caché KV en FP8 para GLM-5.x en SM100
Útil para
vLLM v0.32.0, publicada el 18 de octubre, usa FP8 para la caché KV de GLM-5.x en GPU NVIDIA SM100 cuando se configura --kv-cache-dtype auto. En el PR #60140 (GLM-5.3, tensor parallel 4, 458.880 tokens de presupuesto), la caché KV por rank baja de 40,13 a 20,69 GiB, el throughput sube entre un 2,3 % y un 5,5 % y el TTFT p50 empeora entre un 6,9 % y un 11,1 %. Son cifras de benchmarks sintéticos publicados por el propio desarrollo, sin réplica independiente.
Qué significa
Quien sirve modelos grandes en sus propias GPU gana memoria para atender más peticiones simultáneas o contextos más largos, a cambio de una primera respuesta algo más lenta. El resultado depende de la carga real del servicio, por lo que el valor por defecto puede convenir a unos sistemas y perjudicar a otros.
Cómo te afecta
- Programadores
En vLLM v0.32.0, la caché KV en FP8 redujo a la mitad la memoria por rank en GLM-5.3, pero el primer token tarda entre 6,9 y 11,1 % más. Mide tu caso antes de activarla en un endpoint interactivo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ