Pearl-Chat: modelo de lenguaje en luganda construido desde cero
Los investigadores presentan Pearl-Chat, un modelo de unos 8,5 millones de parámetros diseñado para el luganda, una lengua bantú de bajos recursos hablada por más de 10 millones de personas en África Oriental. Está construido con JAX y Flax NNX e incluye un tokenizador propio que consigue 1,60 tokens por palabra, el doble de compresión que LLaMA-3 y Gemma. El entrenamiento tiene dos etapas, la primera con 59.501 secuencias de corpus paralelos, bíblicos, enciclopédicos y periodísticos.
Qué significa
Para los hablantes de luganda, un tokenizador propio hace que cada frase ocupe menos espacio de contexto y se procese más rápido. Es un paso hacia modelos para lenguas africanas poco atendidas por los grandes sistemas actuales.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL