Miércoles 4 de noviembre de 2026 ·
Cambiar el gold estándar invierte el orden de los métodos de extracción de relaciones sin tocar el modelo
Los autores muestran que las diferencias por segmentos que se citan como prueba de capacidad dependen de la evaluación: función de puntuación, versión del gold, umbral, formato de salida e idioma del prompt. Con las predicciones congeladas, el orden de dos métodos se invierte al cambiar el gold estándar (+0,0363, con intervalo de confianza que excluye cero), y tras el cambio queda empatado. Proponen un procedimiento de auditoría de evaluación que declara empates y filtra configuraciones no verificables.
Qué significa
Una mejora de pocas décimas publicada en un artículo puede deberse solo a cómo se evaluó, así que no basta para afirmar que un sistema es mejor que otro.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del miércoles 4 de noviembre de 2026 ->