¿Funcionan de verdad los guardarraíles de los LLM? Lo que protegen y lo que no
El artículo repasa qué son los guardarraíles de los LLM y los clasifica en cinco tipos según la implementación de NeMo Guardrails. Usa como ejemplo Constitutional Classifiers de Anthropic: en una prueba automatizada bajó del 86 % al 4,4 % el éxito de jailbreaks avanzados contra Claude 3.5 Sonnet, con un coste de cómputo de unos 23,7 % más. En una demostración pública de febrero de 2025, con 339 participantes y más de 300.000 interacciones, cuatro personas superaron todos los niveles y una encontró un método universal de evasión. Los ataques exitosos incluyeron codificación para eludir la revisión de salida, juegos de rol, sustitución de palabras y inyección de prompts.
Qué significa
Cuando un equipo dice que su producto 'tiene guardarraíles', conviene preguntar qué tipo de control aplica, porque un filtro de entrada no revisa lo que responde el modelo. Por ejemplo, un chatbot que solo filtra los mensajes del usuario debería revisar también la respuesta antes de mostrarla.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ