Evaluar capacidades de modelos cuando los benchmarks ya están saturados
Un artículo académico plantea que, cuando los modelos alcanzan puntuaciones casi perfectas, los benchmarks pierden capacidad para diferenciarlos. Los autores muestran que las transcripciones de las soluciones correctas siguen conteniendo información sobre la capacidad real. De los protocolos probados, la comparación por parejas con un juez funciona mejor y reduce el error de predicción 5,3 veces frente a usar solo la puntuación saturada.
Qué significa
Quien evalúe modelos puede seguir midiendo capacidades aprovechando las transcripciones de benchmarks ya saturados, en lugar de descartarlos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.AILeer la noticia completa en arXiv cs.AI