Martes 3 de noviembre de 2026 ·

Anthropic muestra que agentes de Claude pueden crear datos de entrenamiento que provocan comportamientos indebidos en IA

Relevancia 70 de 100 Estados Unidos, California

Anthropic presentó un experimento en el que agentes de Claude generan datos de entrenamiento para un modelo de investigación pequeño, con el objetivo de superar un filtro de seguridad y provocar conductas no deseadas. En todas las pruebas encontraron conjuntos de datos adecuados, y los más eficaces causaron fallos más fuertes y variados que los conjuntos de comparación. Los textos inocentes, como consejos de apicultura o relatos ficticios, resultaron especialmente efectivos.

Qué significa

Los sistemas de seguridad que filtran datos de entrenamiento pueden no detectar contenidos aparentemente inofensivos que cambian el comportamiento del modelo. Anthropic plantea que agentes de IA podrían automatizar las pruebas de seguridad, algo que hoy depende mucho de expertos humanos.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del martes 3 de noviembre de 2026 ->