BARC-Bench: los agentes de IA completan tareas pero no respetan límites implícitos de seguridad
Útil para
El benchmark BARC-Bench reúne 110 tareas en nueve entornos de trabajo simulados, donde peticiones inocentes pueden llevar a acciones inseguras. Por ejemplo, un agente que programa reuniones de salida de un empleado podría revelar su dimensión al invitar a todos por un calendario compartido. Cuatro configuraciones de modelos, con cinco intentos por tarea, muestran que el porcentaje de tareas completadas de forma segura en los cinco intentos va del 9,1 % al 72,7 %, y que incluso la mejor configuración incumple en el 27,3 % de las tareas.
Qué significa
Quien delegue tareas en agentes de IA con acceso a calendarios, correos o documentos debe contar con que pueden filtrar información sensible aunque la orden sea inocente. Esto limita la autonomía de estos sistemas en flujos de trabajo reales donde hay datos delicados.
Cómo te afecta
- CTO y tecnología
Antes de conceder a un agente acceso a calendarios o correo, limítalo y exige revisión humana en procesos delicados como las salidas de empleados, porque incluso la mejor configuración incumple en el 27,3 % de las tareas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.AILeer la noticia completa en arXiv cs.AI