Escalado de vLLM con parada casi nula en Elastic Expert Parallelism
Útil para
vLLM ha reducido a menos de 2 segundos la parada del servicio al añadir o quitar GPUs en un despliegue en marcha. Antes, reiniciar el motor para escalar DeepSeek V4 Pro de 16 a 20 GPU GB200 dejó el servicio parado 197 segundos. Con preparación asíncrona y NIXL EP, la pausa fue de 0,82 segundos al subir a 20 GPU y de 1,96 segundos al volver a 16.
Qué significa
Las GPU caras dejan de quedar asignadas sin generar tokens durante el escalado. En la prueba con DeepSeek V4 Pro, la pausa de subir de 16 a 20 GPU bajó de 100 segundos a 0,82 segundos.
Cómo te afecta
- Programadores
En un despliegue de vLLM, escalar GPUs ya no exige reiniciar el motor: en la prueba con DeepSeek V4 Pro, la parada al subir de 16 a 20 GPU GB200 fue de 0,82 segundos frente a 197 segundos antes. Revisa si tu autoescalado puede usar NIXL EP antes de tocar nada.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- vLLM BlogLeer la noticia completa en vLLM Blog