Bonsai de 1 bit: qué muestra la comparación con Qwen y cómo entrenar un modelo así
PrismML publicó Bonsai, un modelo que guarda cada peso con un solo bit más una escala compartida por cada grupo de 128 pesos, lo que da unos 1,125 bits por peso. Con esa escala, un modelo de 27.000 millones de parámetros ocupa unos 4 GB frente a 54 GB en 16 bits. El autor intentó reproducir el método: la cuantización por capas dio un modelo inservible y su modelo de 1 bit entrenado por bloques quedó 100 veces por detrás de Bonsai. Bonsai-1.7B tiene una perplejidad de 16,5 frente a 12,3 del Qwen3-1.7B original.
Qué significa
Un modelo de 1 bit puede caber en una tarjeta gráfica pequeña, pero con pérdida de calidad medible: la perplejidad sube de 12,3 a 16,5 en el caso de Bonsai-1.7B. Quien quiera ejecutarlo tiene que usar los núcleos publicados para llama.cpp o MLX, ya que el método para obtener los pesos no se ha publicado.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr Machine Learning (RU)Leer la noticia completa en Habr Machine Learning (RU)