Miércoles 21 de octubre de 2026 ·

Ant Group y la comunidad vLLM publican Humming, una librería de kernels para inferencia cuantizada

Relevancia 54 de 100

Útil para Programadores 90%

Ant Group y la comunidad vLLM liberan en código abierto Humming, una librería de kernels de alto rendimiento para inferencia cuantizada. Soporta GPU NVIDIA desde Turing y dispositivos compatibles con CUDA, como el Zhenwu 810E de T-Head. Según sus autores, supera a Marlin de vLLM, FlashInfer y DeepGEMM en muchas cargas de trabajo.

Qué significa

Quien ejecuta modelos de lenguaje grandes en GPU puede usar Humming para reducir memoria y acelerar la inferencia con distintos formatos de pesos y activaciones. Es útil sobre todo en modelos MoE, donde solo una parte de los expertos se activa por token.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 21 de octubre de 2026 ->