Sábado 24 de octubre de 2026 ·

Meta entrena modelos pequeños que leen bytes en vez de tokens: al principio rinden peor, pero un artículo predice que acabarán mejor

Relevancia 49 de 100 Estados Unidos, California

Un artículo de Meta (arXiv 2609.12303) entrena modelos de unos 1.000 millones de parámetros que leen bytes, es decir, letra a letra, en lugar de tokens, y los compara con modelos de tokens mediante destilación de Llama 3 8B. Con poco entrenamiento ganan los modelos de tokens, pero con más entrenamiento los de bytes siguen mejorando mientras los otros se estancan. La extrapolación predice que los de bytes superarán a Llama 3.2 1B y Gemma 3 1B, y que necesitan unas seis veces menos texto para el mismo nivel; en las pruebas reales, el modelo de tokens seguía por delante.

Qué significa

Si la predicción se cumple, los modelos pequeños para móviles y portátiles podrían mejorar sin crecer de tamaño y con menos datos de entrenamiento, aunque requerirían más cálculo.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del sábado 24 de octubre de 2026 ->