Lunes 2 de noviembre de 2026 ·
JetBrains publica una cabeza MTP para Mellum2.1-12B que acelera la inferencia entre 1,4 y 1,8 veces
Útil para
JetBrains ha publicado en Hugging Face una versión de Mellum2.1 Thinking con una cabeza de predicción multi-token, un bloque transformer extra que propone el token siguiente como borrador especulativo. El modelo verifica cada token propuesto, por lo que la salida no cambia, mientras la generación va entre 1,4 y 1,8 veces más rápido, con alrededor del 90% de los tokens aceptados. Es compatible con vLLM 0.33 o posterior, transformers 5.20 o posterior y llama.cpp.
Qué significa
Quien sirva este modelo con vLLM, transformers o llama.cpp obtiene respuestas casi el doble de rápidas sin perder calidad, porque el modelo comprueba cada token antes de aceptarlo.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
También ese día
Todas las noticias de IA del lunes 2 de noviembre de 2026 ->