Modular afirma que su stack Max es 5,5 veces más rápido que vLLM en latencia de primer token
Abdul Dakkak, de Modular, afirmó en AI Engineer que Max logra 5,5 veces menos tiempo hasta el primer token que vLLM con Kimi K2.5, y 1,5 veces más tokens por minuto por GPU en Nvidia B200, según benchmarks que dice verificados por Artificial Analysis. Modular presenta Max como sustituto de la combinación PyTorch con vLLM, SGLang o TensorRT-LLM para inferencia generativa, sobre Mojo, un lenguaje con sintaxis de Python en aproximadamente el 90 %. Según I-Programmer, Mojo habría alcanzado la versión 1.0 y se va a abrir como código abierto.
Qué significa
Quien sirva modelos de lenguaje podría probar Max, que expone un endpoint compatible con OpenAI, y comparar sus cifras con su configuración actual.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- StartupHub.aiLeer la noticia completa en StartupHub.ai