DecisionPivot: nuevo benchmark que muestra fallos ocultos de los modelos de decisión en sistemas basados en LLM
Útil para
Investigadores presentan DecisionPivot, un benchmark diagnóstico con 40.033 ítems y 48 tareas para evaluar los modelos que deciden enrutado, filtros y verificación de salidas en sistemas con LLM. Evaluaron 40 modelos de decisión y 14 generales, y encontraron diferencias que las puntuaciones agregadas ocultan: dos modelos de 27B separados por 2,6 puntos en la pista de referencia alcanzan 70,1% y 44,2% de precisión por grupos de contraste. Perplexity Decider ordena bien las probabilidades en el 92,3% de los pares, pero responde correctamente a ambos miembros solo en el 74,1%.
Qué significa
Los equipos que eligen modelos para filtrar o enrutar respuestas tienen un criterio más preciso que la nota global, porque un modelo puede ordenar bien sus probabilidades y aun así fallar en la decisión final.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hugging Face Daily PapersLeer la noticia completa en Hugging Face Daily Papers