Por qué los ataques multiturno como Crescendo pasan desapercibidos en las evaluaciones de un solo turno
Las evaluaciones de jailbreak de los LLM suelen probar un único mensaje, lo que no detecta ataques multiturno como Crescendo. Este ataque empieza con preguntas inocuas, avanza apoyándose en respuestas previas del propio modelo y, si es rechazado, retrocede la conversación. Su implementación automatizada, Crescendomation, superó a otros métodos en un subconjunto de AdvBench: entre un 29% y un 61% más con GPT-4 y entre un 49% y un 71% más con Gemini-Pro. En HarmBench, con Llama-3-8B-Instruct defendido, los ataques automáticos de un turno tuvieron éxito en el 8,3% (RR) y el 10,0% (LAT) de los casos, frente al 51,7% y 75,4% de los ataques multiturno humanos del dataset MHJ de Scale AI.
Qué significa
Quien evalúe la seguridad de un chatbot solo con preguntas sueltas puede dar por bueno un modelo que cae en conversaciones largas; conviene probar también conversaciones completas de varios turnos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 生成AIタグが付けられた新着記事 - QiitaLeer la noticia completa en 生成AIタグが付けられた新着記事 - Qiita