Martes 27 de octubre de 2026 ·

Qwen3.8 27B en una RTX 5090: seis motores de inferencia comparados con y sin DFlash2

Relevancia 52 de 100

Útil para Programadores 88%

Un benchmark en una RTX 5090 de 32 GB compara llama.cpp, vLLM, SGLang, NInfer, velox-inferer y TensorSharp con el modelo Qwen3.8 27B, con y sin el drafter DFlash2. Sin DFlash2, con una sola petición, TensorSharp logra 80,0 tokens por segundo y llama.cpp 84,2. Con DFlash2 y una sola petición, llama.cpp llega a 212,9 y NInfer a 280,5. Con cuatro peticiones simultáneas, NInfer suma 488 tokens por segundo. El autor, creador de TensorSharp, declara su relación con el proyecto y advierte de que cada motor usó checkpoints cuantizados distintos.

Qué significa

Los resultados dependen de la combinación de motor, cuantización y modelo auxiliar, así que no miden solo el rendimiento del software. Quien quiera ejecutar Qwen en hardware de consumo verá que la elección del motor puede cambiar mucho la velocidad.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del martes 27 de octubre de 2026 ->