Viernes 23 de octubre de 2026 ·
Un estudio muestra que el juez LLM de Arena-Hard cambia muchos veredictos individuales aunque la puntuación global apenas varíe
Los investigadores analizaron el juez GPT-4.1 de Arena-Hard v2.0 con 500 prompts y ocho combinaciones de criterios, formato y enfoque de la tarea. Repetir la configuración por defecto cambió el resultado de victoria, empate o derrota en el 21,2% de los prompts, aunque la puntuación global se movió alrededor de un punto. Al cambiar instrucciones, en una configuración sin razonamiento el resultado cambió en 28,2 puntos porcentuales más de prompts y la puntuación bajó 4,09 puntos.
Qué significa
Los rankings de modelos basados en jueces automáticos pueden ocultar mucha variabilidad en casos concretos, lo que afecta a cómo se interpretan las comparaciones publicadas en benchmarks.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del viernes 23 de octubre de 2026 ->