Qwen Flash Next: cuantizaciones y temperatura frente a tiempo de tarea y calidad
Un usuario probó tres cuantizaciones de Qwen Flash Next (q3_xxs, q3_s y q4_xs) con dos configuraciones de temperatura, la recomendada y temperatura 0, en 12 ejecuciones de una tarea: un Tetris en navegador con requisitos definidos. Todas las versiones dieron resultados aceptables, pero ninguna fue perfecta. Las cuantizaciones bajas generan muchos más tokens entre razonamiento, llamadas extra y pruebas, así que su mayor velocidad por token no compensa el tiempo total por tarea. Con temperatura 0 la variación de tamaño y tiempo fue menor, aunque la muestra es pequeña.
Qué significa
Al elegir cuantización para ejecutar un modelo en local, una versión más pesada puede terminar antes una tarea aunque genere menos tokens por segundo; la más pequeña no siempre es la más rápida.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA