Sábado 31 de octubre de 2026 ·

QEngine 1.3.1 alcanza hasta 504 tok/s en decodificación de Qwen3.8-Flash-Next con dos RTX 5090

Relevancia 44 de 100

Útil para Programadores 85%

Un usuario probó el modelo Qwen3.8-Flash-Next en un equipo con dos RTX 5090 de 32 GB cada una, usando QEngine 1.3.1, un motor creado para RTX 3090 y compilado aquí para sm_120. En decodificación, QEngine logra 370-439 tok/s por defecto y 406-504 tok/s con la caché KV en RAM, por delante de Strata (180-293 tok/s) y de los motores vLLM (118-141 tok/s). Las cifras proceden de un benchmark con prompts repetidos y el propio autor las considera cercanas al mejor caso.

Qué significa

Para quien ejecuta modelos grandes en hardware propio, muestra que motores optimizados para GPU de consumo pueden generar texto a una velocidad muy superior a la de vLLM en la misma máquina.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del sábado 31 de octubre de 2026 ->