Martes 27 de octubre de 2026 ·
Un ajuste en el pretokenizador reduce un 54% los tokens del nepalí frente a la extensión estándar de vocabulario
Útil para
Llama-3 y Qwen3 dividen las palabras en devanagari en cada signo vocálico al pretokenizar, por lo que el nepalí consume entre 2,6 y 5,8 veces más tokens que el mismo texto en inglés. Los autores proponen una pequeña modificación de la expresión regular que, con 32.000 nuevas fusiones, iguala el nepalí al inglés (1,01 veces). En preentrenamiento continuado de Llama-3.2-1B y Qwen3-0.6B, el tokenizador original obtuvo la menor pérdida en bits por byte para nepalí.
Qué significa
Para los hablantes de nepalí, un tokenizador más eficiente supone menor coste y más texto por contexto. El estudio no confirma que esto mejore la calidad del modelo, y la eficiencia en generación sigue sin probarse.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del martes 27 de octubre de 2026 ->