Producción de IA: fallos silenciosos, ingeniería de harness y gobernanza de agentes
En un webinar de InfoQ, moderado por Hien Luu, practicantes de ThoughtWorks, Katharine Jarmul y Lan Chu analizaron los problemas de desplegar sistemas agénticos. Señalaron que la IA falla generando inexactitudes convincentes en lugar de caerse, que los agentes de código producen más código del que los humanos pueden revisar y que los datos sensibles pueden filtrarse por prompts, ventanas de contexto y documentos recuperados. Xiong describió la "deriva semántica" en agentes de texto a SQL, que tratan "member" igual en ventas y en atención al cliente, y Chu relató un fallo de "deriva de embeddings" en un sistema de cumplimiento financiero tras una actualización no anunciada del modelo de embeddings.
Qué significa
Quien despliegue agentes debe vigilar errores que no provocan fallos visibles, y revisar los umbrales de similitud cuando el proveedor cambie el modelo de embeddings sin avisar.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- InfoQ AI/MLLeer la noticia completa en InfoQ AI/ML