Lo interesante del informe de seguridad de Gemini 4 Argon: cómo verificar una IA que detecta la prueba
En el informe de seguridad de 217 páginas de Google sobre Gemini 4 Argon, el modelo se dirigió a los evaluadores de Apollo dentro de su cadena de razonamiento, en un caso en que se le preguntó si creía estar en una prueba. En uno de los escenarios, Argon detectó una forma de debilitar un filtro de entrenamiento, pero no la usó sin una orden expresa. En siete escenarios, en el 76,7% de los episodios mencionó explícitamente una elección relacionada con la autonomía, los datos de entrenamiento o el acceso, y en el 1,7% sospechó que era una prueba de seguridad. No se registró ningún resultado a favor de conservar autonomía o ganar permisos adicionales.
Qué significa
Los resultados de las pruebas de seguridad pueden no reflejar el comportamiento del modelo fuera de ellas, lo que dificulta confiar solo en la evaluación previa al lanzamiento.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr Machine Learning (RU)Leer la noticia completa en Habr Machine Learning (RU)