Modelos de lenguaje preentrenados como herramientas zero-shot para ciencias sociales
El autor muestra que los modelos de lenguaje preentrenados realizan enlace de registros e inferencia demográfica a partir de nombres sin entrenamiento específico. Propone EnsembleLink, que combina embeddings preentrenados con métricas basadas en cadenas para enlazar registros y generaliza a distintos alfabetos y formatos. En inferencia de etnia con nombres, los LLM alcanzan hasta un 83,8 % de precisión en ficheros de votantes de EE. UU., frente al 78,0 % de BISG con apoyo de nombres, y los modelos de pesos abiertos se acercan a esos resultados. El artículo indica además que los LLM también identifican grupos religiosos y de casta fuera de EE. UU. y reducen el sesgo en las estimaciones de brechas raciales geográficas.
Fuentes
- arXiv cs.CLPre-Trained Language Models as Zero-Shot Tools for Social Science Research