Martes 27 de octubre de 2026 ·

Tres técnicas para acelerar la inferencia de MoE en NVIDIA DGX Spark con Ling-3.0-flash

Relevancia 57 de 100 Estados Unidos, California

Útil para Programadores 80%

Un análisis de Inclusion AI con NVIDIA muestra que, con lote de tamaño 1, la decodificación de Ling-3.0-flash en DGX Spark está limitada por la memoria: leer los pesos consume el tiempo de ejecución. Se proponen tres técnicas: kernels MXFP4 para la capa de expertos (MoE), cuantización FP8 en línea de la capa de salida (LM head) y decodificación especulativa con predicción de múltiples tokens (MTP) usando NEXTN. El modelo tiene 124.000 millones de parámetros totales y 5.100 millones activos por token. La combinación de las tres puede ser más lenta que la configuración base por un problema de integración.

Qué significa

Para quien ejecuta modelos grandes en equipos locales, la velocidad depende sobre todo de cuánto peso se lee en cada paso, y estas técnicas reducen esa lectura. Activar todas a la vez no garantiza más velocidad, así que la configuración importa tanto como el hardware.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del martes 27 de octubre de 2026 ->