¿Qué modelos de perspectivas predicen mejor? Acuerdo entre anotadores, dispersión y rendimiento
Estudio sobre algoritmos de procesamiento del lenguaje natural que deben predecir cómo distintas personas valorarán un mismo texto. Los autores crearon la mayor colección de conjuntos de datos de este tipo con anotaciones ordinales y evaluaron varias clases de algoritmos. Los modelos funcionan mejor con anotadores que tienden a coincidir con los demás, mientras que la tasa de respuesta no muestra una correlación significativa con el rendimiento.
Qué significa
Los sistemas que predicen opiniones humanas aciertan más con quienes piensan como la mayoría, por lo que las opiniones minoritarias quedan peor representadas en estas herramientas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL