Viernes 30 de octubre de 2026 ·
«La exposición no es compromiso»: nueva evaluación de detectores internos para agentes de IA que usan herramientas
Los autores proponen separar, en la evaluación y en el entrenamiento, la exposición a una inyección de instrucciones del compromiso conductual del agente. Con modelos entrenados solo con la mezcla de casos inseguros y no inseguros, los detectores aprendían sobre todo la exposición y apenas predecían qué casos acababan en acción insegura. Al reentrenarlos solo con casos expuestos, predicen la llamada insegura del propio modelo hasta dos pasos antes, con un AUROC de 0,853 en Qwen y de 0,896 y 0,912 en Mistral-7B y OLMo-2-7B. El trabajo sugiere que esto explica en parte los resultados contradictorios de la investigación previa.
Qué significa
Para quien desarrolla agentes de IA con herramientas, los detectores de ataques pueden fallar si se entrenan con la mera presencia del ataque en vez de con la acción insegura que provoca.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL
También ese día
Todas las noticias de IA del viernes 30 de octubre de 2026 ->