Viernes 16 de octubre de 2026

2.788 tokens/s en una sola RTX 5090 con un LLM de difusión: ORL, de código abierto

Relevancia 56 de 100

Investigadores presentan ORL (On-Policy Residual Learning), una técnica para acelerar los modelos de lenguaje de difusión sin perder calidad de generación. Con su motor de inferencia dlmrt, logran 2.788 tokens/s en una RTX 5090 con LLaDA-2.1-mini, 7.708 tokens/s en 8 B200 con DiffusionGemma 26B MoE y hasta 6,9 veces más rendimiento de extremo a extremo con QwenDLM-4B. Frente a DFlash, una técnica de decodificación especulativa, la mejora es de 1,74 veces con igual precisión en una comparación en H100. Las cifras son de peticiones individuales, con tamaño de lote 1, y los modelos, el código de entrenamiento, la evaluación y el motor están publicados como código abierto.

Qué significa

Quien quiera ejecutar modelos de difusión en local puede descargar los modelos y el motor publicados y obtener respuestas más rápidas en una GPU de consumo. Las cifras son picos en benchmarks concretos y no promedios para cualquier prompt.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.