¿Son fiables los jueces basados en LLM para medir ataques exitosos? Sesgos y calibración con etiquetas humanas
Útil para
En las pruebas de red teaming es habitual que otro LLM decida si un ataque ha tenido éxito, porque revisar miles de respuestas a mano no es viable. El artículo recoge sesgos documentados de estos jueces, como el de posición, la preferencia por respuestas largas y la autopreferencia. También señala errores en ambos sentidos: un estudio de 2026 (arXiv:2606.25487) muestra que los jueces pueden dejar pasar respuestas dañinas o marcar inofensivas, y que son vulnerables a inyecciones de prompt. Propone medir el error del juez con una muestra pequeña de etiquetas humanas y corregir la tasa de ataques exitosos con código en Python.
Qué significa
Las comparaciones de seguridad entre modelos dependen del juez elegido: cambiar de evaluador puede hacer que un mismo modelo parezca más o menos robusto. Sin medir antes ese error, la cifra de ataques exitosos no es comparable entre laboratorios.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- 生成AIタグが付けられた新着記事 - QiitaLeer la noticia completa en 生成AIタグが付けられた新着記事 - Qiita