Sobreajuste y creatividad: ¿un modelo menos entrenado escribiría mejor?
Un usuario de Reddit recuerda la creatividad de GPT-2, entrenado con un conjunto de datos mucho menor que los actuales. Sostiene que los modelos actuales, muy buenos prediciendo sobre todo código, sobreajustan y no generalizan a la creatividad real. Pregunta si un modelo entrenado con un dataset enorme pero con menos ajuste (poco entrenado, «undercooked») sería mejor escribiendo y peor programando.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA