Kimi K3 en vLLM: optimización de la decodificación en NVIDIA GB300 con agentes
Para Kimi K3 se creó con ayuda de agentes una ruta de decodificación unificada en CuTe DSL para NVIDIA GB300, que cubre atención, MoE y comunicación entre 8 o 16 GPU. Con 16 GPU GB300 y DSpark, el modelo supera los 840 tokens por segundo con lote 1; en varias configuraciones la decodificación es entre 1,5 y 2 veces más rápida, y la interactividad P90 en la carga AgentX sube hasta 1,8 veces. Los autores señalan que el código generado por agentes supera ya la capacidad de revisión manual, y proponen un RFC de optimización rápida con verificación automática y aislamiento de riesgos.
Qué significa
Quien ejecute Kimi K3 en vLLM sobre GB300 obtiene una decodificación notablemente más rápida. Para los mantenedores del proyecto, el cambio implica depender más de verificaciones automáticas que de la revisión línea a línea.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- vLLM BlogLeer la noticia completa en vLLM Blog