Martes 27 de octubre de 2026 ·
AdaptTok-Indic: tokenizador adaptativo para lenguas indias como bengalí e hindi
AdaptTok-Indic es una extensión de tokenización adaptativa especializada en lenguas indias, que combina normalización Unicode, manejo explícito de conjuntos consonánticos y predicción de límites a nivel de byte. En bengalí, la fertilidad media es de 1.432 tokens por palabra, y en hindi de 1.388, frente a 2.156 y 2.085 de SentencePiece BPE. La puntuación media en tareas posteriores sube de 50,82 a 57,69 en las configuraciones evaluadas. Es un prototipo a pequeña escala, sin pruebas de significancia estadística ni evaluación de texto mezclado entre idiomas.
Qué significa
Para textos en bengalí e hindi, el tokenizador genera un tercio menos de tokens, así que una misma consulta ocupa menos espacio en el contexto del modelo y cuesta menos procesarla.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del martes 27 de octubre de 2026 ->