Viernes 23 de octubre de 2026 ·

Un estudio de la Universidad de Washington y Meta predice que los modelos que leen bytes podrían superar a los de tokens a gran escala

Relevancia 50 de 100 Estados Unidos, Washington

Investigadores de la Universidad de Washington y Meta FAIR comparan modelos que procesan texto como bytes con otros que usan tokens, entrenados por destilación desde Llama 3-8B hasta un billón de bytes. Al extrapolar las leyes de escalado, la variante de bytes con marcador de fin de token alcanza un 52,4 % en la media de cuatro tareas de selección y dos de generación, frente al 48,4 % de la de tokens. Las cifras son proyecciones, no mediciones directas a esa escala.

Qué significa

Si la proyección se cumple, los modelos de bytes necesitarían alrededor de una sexta parte de texto único para igualar a los de tokens, lo que cambia cómo se elige la fragmentación del texto antes del entrenamiento. Por ahora, en las fases tempranas de entrenamiento la ventaja sigue siendo de los modelos de tokens.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del viernes 23 de octubre de 2026 ->