Motores para ejecutar Qwen3.8-27B y Flash-Next en hardware de consumo, con costes según los precios de la RAM de 2026
Útil para
Un usuario compara motores de inferencia para Qwen3.8-27B y Flash-Next en su equipo con 2 RTX 5070 Ti y 96 GB de DDR5, distinguiendo resultados verificados de los que reportan los autores. Explica que el paralelismo tensorial suma el ancho de banda de dos tarjetas, que los modelos de expertos fuera de VRAM se calculan en CPU y que los cuantizados de 2-3 bits son más rápidos pero con el doble de divergencia KL. Indica que los drafters DFlash2 y DSpark dan 2-3× en el modelo 27B, y que los kernels de un solo modelo superan a los motores generales 2-6× con una petición.
Qué significa
Para quien quiera correr modelos locales, el motor y la técnica de decodificación pesan más que el hardware: una misma tarjeta puede rendir varias veces más según el software que use.
Cómo te afecta
- Programadores
Si tienes dos GPUs de consumo, el paralelismo tensorial suma su ancho de banda y los drafters DFlash2 y DSpark dan 2-3× en el modelo 27B. Mide tú antes de cambiar: los cuantizados de 2-3 bits son más rápidos pero con el doble de divergencia KL.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA