Estudio: la precisión global de un evaluador automático de LLM puede ocultar errores según el prompt
Los autores muestran que validar el evaluador de LLM con una sola cifra global (F1 de 0,916 en una auditoría de 288 respuestas) puede ocultar errores específicos de cada prompt. Según el estudio, el evaluador marcó entre 2,6% y 33,3% de respuestas como con afirmación no respaldada que el juez principal consideraba correctas, lo que puede distorsionar la diferencia medida entre prompts. El trabajo usa seis modelos, 180 preguntas sobre entidades inventadas y seis condiciones de prompt.
Qué significa
Quien compare respuestas de modelos con instrucciones distintas necesita validar el evaluador por separado en cada condición, porque una cifra global puede mostrar un efecto que no existe o esconder uno real.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL