Con 64 GB de RAM, Qwen3.8-Flash-Next pasa de 2 bits a 4 bits en una RTX 4090
Un usuario amplió su RAM de 32 a 64 GB DDR5-5800 y pasó de la cuantización IQ2_XS a UD-IQ4_XS del modelo Qwen3.8-Flash-Next, ejecutado con el motor Strata 0.1.45 en una RTX 4090 de 24 GB. Con 40 GiB de expertos en RAM y el resto en la GPU, consigue unos 87-98 tokens por segundo en prompts cortos y encuentra la información en pruebas de hasta 136.000 tokens de contexto. La velocidad baja respecto a los 140-160 tokens por segundo de IQ2_XS, a cambio de una mayor precisión: según la tabla de cuantización de Strata, UD-IQ4_XS coincide con el token principal de Q8_0 un 88,9% de las veces, frente al 80,6% de Q2_0.
Qué significa
Quien tenga una RTX 4090 y 64 GB de RAM puede ejecutar una versión de 4 bits con más calidad a cambio de perder velocidad, en lugar de usar una versión de 2 bits más rápida.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA