Cuantización de Qwen3.8 Flash Next con Unsloth: KLD y top-1% en finlandés e inglés
Un usuario mide cómo afecta la cuantización de Qwen3.8 Flash Next (cuantizaciones de Unsloth) a la capacidad en finlandés y en inglés, usando libros de Project Lönnrot y Project Gutenberg, además de datos de Wikipedia. El finlandés pierde más precisión que el inglés, y el autor indica que incluso con Q8 la KLD queda lejos del umbral de 0,02 a partir del cual se considera notable. Los resultados son mixtos: la KLD sobre Wikipedia mejora, pero el top-1% empeora. Un modelo híbrido propio, con un n-grama a nivel Q8 en lugar del Q4 de Unsloth, queda a medio camino entre los modelos Q4 y Q5.
Qué significa
Quien ejecute modelos cuantizados en local con Q4 puede probar el híbrido del autor, que según sus mediciones queda entre Q4 y Q5.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA