Domingo 18 de octubre de 2026 ·
Propuesta de nuevos tipos de cuantización IQ2_K a IQ6_K para llama.cpp
Útil para
Se propone en llama.cpp una nueva familia de cuantizaciones IQ2_K, IQ3_K, IQ4_K, IQ5_K e IQ6_K. Según las pruebas, tienen el mismo tamaño de archivo que las cuantizaciones Q y mejoran de forma notable la divergencia KL frente a ellas, con un leve coste de rendimiento. Crearlas es bastante lento. Las cifras presentadas corresponden a un solo modelo, y las pruebas están disponibles en Hugging Face.
Qué significa
Si los resultados se confirman, quien ejecute modelos locales podría obtener mejor calidad sin aumentar el tamaño de los archivos. Para los usuarios de llama.cpp, supondría cambiar a estas nuevas cuantizaciones cuando estén disponibles.
Cómo te afecta
- Programadores
Las nuevas IQ2_K a IQ6_K de llama.cpp igualan el tamaño de las Q con mejor divergencia KL, pero solo hay cifras de un modelo. Mide la KL con tu propio modelo antes de cambiar, que crearlas es lento.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA
También ese día
Todas las noticias de IA del domingo 18 de octubre de 2026 ->