Guía para montar una IA local, parte 6: convertir modelos de Hugging Face a GGUF
Útil para
La sexta parte de la guía explica cómo convertir modelos de Hugging Face, en formato .safetensors, al formato GGUF de llama.cpp, útil cuando la comunidad no ha publicado el modelo o la cuantización que se busca. El proceso tiene dos pasos: convertir a F16, con un tamaño similar a los archivos originales, y después cuantizar a Q4_K_M, que reduce el tamaño de 3 a 4 veces con pérdida de precisión. El script convert_to_gguf.sh automatiza todo el proceso, incluidas las dependencias y la limpieza de archivos intermedios.
Qué significa
Quien quiera ejecutar en su propio equipo un modelo que aún no está en GGUF puede convertirlo por su cuenta, a cambio de algo de calidad si elige una cuantización más comprimida.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr IA (RU)Leer la noticia completa en Habr IA (RU)