Qwen3.8-Flash-Next-GSQ-RCO (IQ3_S): unos 40-50 tokens/s de decodificación y 1300-1500 tokens/s de prefill con contexto de 131k en 12 GB de VRAM, 32 GB de RAM y NVMe
Un usuario ejecutó la variante abliterada de Qwen3.8-Flash-Next-GSQ-RCO en cuantización IQ3_S, con 12 GB de VRAM, 32 GB de RAM y un SSD NVMe, usando un fork personalizado de Strata. Según su medición, logra 40-50 tokens/s de decodificación y 1300-1500 tokens/s de prefill con 131k de contexto (presupuesto de razonamiento de 44k). El autor afirma que la cuantización conserva alrededor del 99% de la precisión BF16 y que, en sus pruebas, es la mejor opción para este rango de hardware, aunque reconoce que la arquitectura del fork es experimental.
Qué significa
Quien tenga una GPU de 12 GB y 32 GB de RAM puede probar este modelo en local con contexto largo siguiendo la receta y el fork publicados en GitHub. Las cifras y la calidad de la cuantización son del autor y no están verificadas de forma independiente.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA