Martes 20 de octubre de 2026 ·
Un modelo auxiliar que lee desde SSD mejora la precisión de Qwen3.8-27B en cuantización baja
Útil para
ISTA-DASLab publica una demo en la que un modelo 'prefiller' que transmite datos desde SSD recupera precisión en cuantizaciones bajas de Qwen3.8-27B, manteniendo un uso bajo de VRAM y una decodificación rápida. Según el autor del post, con contextos de unos 4k no hay penalización de velocidad frente a ejecutar el modelo sin el auxiliar. La gráfica muestra la precisión en MMLU-Pro. La demo requiere una GPU Nvidia Blackwell, y el autor no la ha probado.
Qué significa
Quien ejecute modelos cuantizados con poca VRAM podría ganar precisión sin perder velocidad en contextos largos, aunque solo en GPUs Nvidia Blackwell.
Cómo te afecta
- Programadores
Si ejecutas Qwen3.8-27B cuantizado con poca VRAM en una GPU Blackwell, es una demo para probar, no para adoptar: el autor no la ha probado y la gráfica de MMLU-Pro es suya. Sin Blackwell no te cambia nada.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
También ese día
Todas las noticias de IA del martes 20 de octubre de 2026 ->