Los LLM no detectan bien los estereotipos según la cultura, según un estudio
Un estudio evalúa si los grandes modelos de lenguaje identifican estereotipos específicos de cada cultura, con contextos de Estados Unidos, Países Bajos y China. Los resultados indican que los modelos no tienen en cuenta de forma fiable el contexto cultural y tienden a detectar estereotipos en exceso. Los prompts en inglés funcionan peor que los no ingleses para este fin, el ajuste por instrucciones reduce los falsos positivos y el efecto del tamaño de los datos de entrenamiento no es monótono.
Qué significa
Quien use estos modelos para moderar textos en neerlandés o chino puede obtener demasiados falsos positivos, es decir, contenidos marcados como estereotipados sin serlo. El problema es mayor fuera del contexto estadounidense, donde los modelos ya tienen menos conocimiento cultural.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL