Domingo 18 de octubre de 2026 ·
Mi agente sacó nota alta, pero compruebo qué hizo realmente
Útil para
El autor, que desarrolla el sistema experimental ELM, vio que su agente obtenía recompensa 1 en las cinco tareas de prueba de airline (tau2-bench), aunque solo 2 de 13 acciones coincidían con las de referencia. Una respuesta sin llamadas a herramientas también logró 34% en el conjunto completo. Explica que la recompensa comprueba el estado final de la base de datos y las condiciones de comunicación, no el camino seguido, y que 24 de las 50 tareas no modifican la base.
Qué significa
Una puntuación alta en un benchmark no prueba que el agente haya hecho el trabajo; conviene contar sus acciones y compararlas con las de referencia antes de fiarse.
Cómo te afecta
- Programadores
Si evalúas agentes solo por el estado final de la base de datos, un agente puede acertar sin hacer el trabajo. Registra sus llamadas a herramientas y compáralas con la referencia, porque 24 de las 50 tareas de tau2-bench no modifican la base y una respuesta sin herramientas sacó 34%.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr Machine Learning (RU)Leer la noticia completa en Habr Machine Learning (RU)
También ese día
Todas las noticias de IA del domingo 18 de octubre de 2026 ->