Jev-as-a-Judge para verificar afirmaciones en RAG: cascada con umbral de confianza entre un verificador no generativo y un LLM de frontera
Comparan un modelo de decisión no generativo (Jev), que devuelve un valor de una enumeración y una probabilidad sin texto, con un LLM de frontera (Astra) configurado para clasificación binaria. Ambos responden las mismas 495 afirmaciones etiquetadas por humanos de LLM-AggreFact. Según el texto, no hay diferencia estadística en la métrica habitual (-0,56 puntos) pero Jev cuesta 187 veces menos, y los sistemas discrepan en el 15,2% de los casos. Jev deja pasar más afirmaciones no respaldadas (23,2% frente al 14,1% de Astra), y una cascada que delega en el LLM las respuestas de baja confianza alcanza 74,10 a un coste indicado de USD 2,92.
Qué significa
Si usas un verificador barato para comprobar afirmaciones en un sistema RAG, el empate en la métrica habitual oculta que deja pasar más afirmaciones falsas; conviene medir esa tasa concreta antes de elegir.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL