DecisionRobust: nuevo benchmark para medir la robustez de modelos de decisión JEV frente a ataques en texto e imagen
Investigadores presentan DecisionRobust, un benchmark para evaluar la robustez de modelos de decisión tipo JEV ante perturbaciones semánticas en texto, perturbaciones de imagen e inyección de prompts en ambas modalidades. Evalúan 30 configuraciones en tareas de texto y 17 en visión, incluyendo modelos held-out no usados en la selección. Concluyen que los ataques exponen vulnerabilidades también en modelos no empleados para construir el benchmark, que la robustez frente a perturbaciones no garantiza resistencia a inyección de prompts, y que las comprobaciones de consistencia de etiquetas reducen notablemente la tasa de ataques exitosos medida.
Fuentes
- arXiv cs.CLDecisionRobust: Benchmarking Robustness for JEV Style Decision Models Across Text and Vision