De los paralelismos a la divergencia: cómo aprenden los modelos de lenguaje las construcciones nominales de acción
Los autores crearon 96 lenguas sintéticas que varían el orden de palabras, la alineación y las estrategias de nominalización, y entrenaron un GPT-2 pequeño para cada una. Evaluaron 34 fenómenos gramaticales con pares mínimos. Los modelos reproducen las tendencias básicas de las cláusulas de las lenguas naturales, pero divergen en los sistemas de complementos y en las estrategias de nominalización, y aprenden combinaciones raras o inexistentes en las lenguas reales.
Qué significa
Las distribuciones de las lenguas naturales pueden reflejar necesidades funcionales que estos modelos no capturan, así que el aprendizaje por sí solo no basta para explicarlas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL