Colapso de modelos al entrenar con datos generados
Útil para
Este artículo traducido analiza qué ocurre cuando los modelos de lenguaje grandes (LLM) se entrenan con contenido generado por otros LLM, algo que se volverá más frecuente a medida que internet se llene de textos automáticos. Los autores observaron que este entrenamiento provoca defectos irreversibles: desaparecen las colas de la distribución original, es decir, los casos poco frecuentes. Llaman a este efecto "colapso de modelo" y señalan que es universal, afectando también a autocodificadores variacionales (VAE) y mezclas gaussianas (GMM).
Qué significa
Un modelo que aprende de textos generados por otra IA pierde la variedad del contenido original y olvida los casos poco comunes. Por eso los datos de interacciones reales entre personas y sistemas ganan valor a medida que crece la proporción de contenido artificial en internet.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr Machine Learning (RU)Leer la noticia completa en Habr Machine Learning (RU)