Viernes 23 de octubre de 2026 ·
vLLM iguala a DeepInfer, el motor de DeepSeek, al servir DeepSeek-V4.1-Flash en un rack GB300 NVL72 a 954.000 tokens/s por GPU
Útil para
vLLM, con desagregacion P/D y Wide-EP, sirve DeepSeek-V4.1-Flash en un único rack NVIDIA GB300 NVL72 a 954.000 tokens/s por GPU, con un P90 de 196 tokens/s por usuario, 7,9 veces su resultado anterior en un solo nodo. Una ruta de decodificación especializada alcanza 826 tokens/s para un solo usuario. Frente a DeepInfer, la decodificación queda a menos del 6% en lotes de 8 a 256, y el prefill sigue su curva publicada. El coste es de 38,96 dólares por hora de GPU a precios valle de DeepSeek.
Qué significa
Un motor de uso general como vLLM puede rendir casi igual que el motor propio del fabricante para un mismo modelo abierto. Quien despliega modelos de DeepSeek tiene así una opción más flexible y de coste más bajo para servirlos a gran escala.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- vLLM BlogLeer la noticia completa en vLLM Blog
También ese día
Todas las noticias de IA del viernes 23 de octubre de 2026 ->