RealCLI: evaluación unificada de la colaboración entre humanos y agentes de línea de comandos
Útil para
RealCLI es un benchmark emparejado que evalúa a la vez la ejecución de tareas y la calidad de la colaboración de los agentes de línea de comandos (CLI). Tiene dos modos: uno con especificaciones completas desde el inicio y otro con un usuario simulado que aporta información, correcciones y autorizaciones durante la tarea. El mejor agente logra un 49,2% de media y un 37,6% en la puntuación conjunta de colaboración.
Qué significa
Mide algo que los benchmarks de tareas no miden: si un agente sigue bien las correcciones y pide autorización en el momento adecuado, algo en lo que los modelos actuales aún fallan.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL