Jueves 22 de octubre de 2026 ·
Qué miden y qué no miden HarmBench y StrongREJECT sobre la seguridad de los LLM
Útil para
El artículo explica que los benchmarks de seguridad HarmBench y StrongREJECT solo prueban un idioma, unas rutas de entrada y una definición de fallo concretas, por lo que no siempre reflejan lo que debe proteger cada aplicación. Describe los subconjuntos de HarmBench (estándar, contextual, copyright y multimodal), donde el contextual logra tasas de éxito de ataque altas y el de copyright las tiene bajas. Señala que JBB-Behaviors empareja cada petición dañina con una inofensiva para detectar negativas excesivas, y que AgentHarm muestra que los modelos atienden tareas maliciosas de agente sin jailbreak. Incluye un script en Python que cuenta los datos públicos.
Qué significa
Una buena puntuación de seguridad en un benchmark no garantiza que un modelo sea seguro en una aplicación concreta, porque un modelo que rechaza en el chat puede ejecutar tareas dañinas como agente. Cada aplicación necesita pruebas propias.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 生成AIタグが付けられた新着記事 - QiitaLeer la noticia completa en 生成AIタグが付けられた新着記事 - Qiita
También ese día
Todas las noticias de IA del jueves 22 de octubre de 2026 ->