NVIDIA y AI4Bharat presentan un corpus sintético de 2,8 billones de tokens para 22 lenguas indias
NVIDIA, IIT Madras y su laboratorio AI4Bharat presentaron Nemotron-pretraining-Indic-v1, un corpus sintético de preentrenamiento de unos 2,8 billones de tokens en las 22 lenguas oficiales de la India, que se publicará próximamente junto con la canalización abierta de generación de datos. El corpus se construye traduciendo material en inglés curado, con trazabilidad a los documentos fuente y control de calidad automatizado con Gemma-4-31B-it. En pruebas de preentrenamiento continuo de Nemotron 3.5 Super VL, las puntuaciones en cinco benchmarks de lenguas indias subieron entre 4,98 y 9,82 puntos porcentuales.
Fuentes
- NVIDIANVIDIA presenta un corpus de preentrenamiento de 2,8 billones de tokens para lenguas índicas y una canalización abierta – Unite.AI
- El Ecosistema StartupNVIDIA libera 2,8 billones de tokens en 22 idiomas de India