Miércoles 28 de octubre de 2026 ·
Encoders ModernBERT para islandés de 12 millones a 1.000 millones de parámetros, por encima de IceBERT
Investigadores entrenan codificadores para islandés, de 12M a 1B parámetros, con 9.000 millones de tokens de datos abiertos y la arquitectura ModernBERT. El modelo de 1B entrenado desde cero supera significativamente a IceBERT en las once tareas evaluadas. Inicializado desde el modelo inglés Ettin, obtiene la mejor puntuación de todos los codificadores en las tareas comparadas. Con vocabulario trasplantado, arrancar desde otro modelo nunca resultó significativamente peor que entrenar desde cero, y en tamaños base o mayores iguala a entrenar con cuatro veces más texto.
Qué significa
Quien trabaje con textos en islandés, por ejemplo en clasificación o búsqueda, dispone de un modelo abierto más potente que IceBERT. Los resultados sugieren que reutilizar un modelo entrenado en inglés puede reducir la cantidad de texto necesaria en lenguas con pocos recursos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del miércoles 28 de octubre de 2026 ->