Atracción literal: cómo el idioma de la prueba cambia el error de modelos de decisión con modismos bengalíes
Auditoría de tres modelos de decisión (un codificador, un decodificador y una API cerrada) con modismos en bengalí. Al añadir la traducción literal del modismo entre las opciones, los modelos la eligen en el 65% al 96% de sus errores restantes. Los fallos son entre 1,9 y 6,4 veces mayores en bengalí que en inglés con los mismos ejemplos, y la confianza que reportan está mal calibrada en los tres.
Qué significa
En sistemas que enrutan o filtran textos en bengalí, los errores serán mayores que en inglés y la confianza que indican no sirve para detectarlos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL