Miércoles 14 de octubre de 2026 ·

FDE-Gym: un benchmark que mide si los agentes de IA resuelven proyectos reales de clientes

Relevancia 34 de 100

FDE-Gym es un benchmark de 95 tareas de entrega de proyectos de clientes, de 20 escenarios en 18 sectores, adaptadas por expertos a partir de proyectos reales. Los agentes trabajan con stakeholders simulados y sistemas modificables, y se puntúan de 0 a 1 según la mejora de la métrica del cliente, con penalizaciones por mensajes, pruebas y esperas. De 13 configuraciones de siete proveedores, la mejor alcanza una puntuación media de 0,56 y resuelve solo 14 de las 95 tareas en el escenario realista. El principal cuello de botella es descubrir restricciones no explicitadas.

Qué significa

Un agente que recibe una especificación clara rinde mucho mejor que uno que debe descubrir requisitos ocultos, así que en proyectos a medida conviene revisar sus resultados con personas.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del miércoles 14 de octubre de 2026 ->