Domingo 18 de octubre de 2026 ·
Nvidia acelera la inferencia de Kimi K3 un 1,68x con una optimización en vLLM
Útil para
Según SemiAnalysis, una optimización upstream de vLLM desarrollada por el ingeniero Benjamin de CentML, de Nvidia, eleva a 423 tok/s por usuario la velocidad de inferencia del modelo Kimi K3 de 2,8 billones de parámetros en GB300 NVL72. La mejora frente al mismo hardware es de 1,68x. Se logra con un Megakernel de 1,2 millones de líneas... de 12.000 líneas, escrito con Cute DSL, un kernel de decodificación nuevo de Nvidia. Nvidia también trabaja en optimizaciones de vLLM para DeepSeek V4.1 y otros modelos.
Qué significa
Quien despliegue modelos grandes con vLLM en hardware GB300 obtendrá más respuestas por segundo y usuario sin cambiar de equipos. Además, la técnica de generar kernels complejos con IA apunta a acelerar el desarrollo de software de inferencia.
Cómo te afecta
- Programadores
Solo sirve con hardware GB300 NVL72. La cifra de 423 tokens por segundo y el 1,68 los reporta SemiAnalysis, así que mídelo tú antes de dar el dato por bueno.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- IT之家 (CN)Leer la noticia completa en IT之家 (CN)
Relacionadas
También ese día
Todas las noticias de IA del domingo 18 de octubre de 2026 ->