Un vocabulario congelado de 16 MB para modelos de lenguaje pequeños y ternarios
Útil para
Los autores proponen sustituir la tabla de embeddings entrenable de un modelo pequeño (Gemma 3 270M, donde esa tabla supone 168 millones de los 268 millones de parámetros) por una tabla fija de 16 MB con códigos de 512 bits. En pruebas con LAMBADA, HellaSwag y PIQA, el modelo con tabla congelada rinde igual o mejor, y con un cuerpo ternario BitNet b1.58 ocupa 46 MB y genera entre 615 y 740 tokens por segundo en una CPU de portátil. En palabras raras, la tabla congelada gana entre 1,7 y 2,3 nats, y acepta 10.000 palabras nuevas tras el entrenamiento con un coste del 3%, frente a una caída del 43% de la tabla aprendida.
Qué significa
Los modelos pequeños podrían ejecutarse en portátiles con mucha menos memoria y añadir vocabulario nuevo sin reentrenar. Con los pesos, los datos y el código publicados, otros equipos pueden reproducir los resultados.
Cómo te afecta
- Programadores
Los pesos, los datos y el código están publicados, así que puedes reproducir el resultado. Con un cuerpo ternario BitNet b1.58, el modelo ocupa 46 MB y genera entre 615 y 740 tokens por segundo en CPU de portátil, y añadir 10.000 palabras nuevas sin reentrenar cuesta un 3%.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL