vLLM v0.32.0rc3 corrige la salida NaN del kernel Mamba2 chunk scan en sm90
La versión candidata vLLM v0.32.0rc3 incluye una corrección de error que hacía que el kernel de escaneo por fragmentos de Mamba2 devolviera valores NaN en GPUs sm90. El commit (#61718) lo firma Vadim Gimpelson y tiene como coautor a Claude. El texto no aporta más detalles.
Qué significa
Quien use vLLM 0.32.0rc3 en GPUs sm90 con modelos Mamba2 dejará de obtener salidas NaN tras esta corrección.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub vllm-project/vllmLeer la noticia completa en GitHub vllm-project/vllm