Un gate de control de riesgo conforme entre un agente LLM y sus escrituras no supera a pedir confirmación siempre
Un desarrollador de Reddit construyó una puerta de control que detiene al agente antes de cada acción de escritura y pide aprobación humana cuando el riesgo parece alto, usando señales de confianza, calibración y control de riesgo conforme. Probado sobre 3.340 conversaciones de tau-bench (retail) con glm-5.3-flash, la cota de riesgo se cumplió (1,7% de conversaciones con escritura incorrecta ejecutada sin preguntar, objetivo 2%, IC de hasta 3,7%), pero en la configuración más estricta el gate no mejora a confirmar todo: 0,058 escrituras erróneas por aprobación frente a 0,062. El autor concluye que la confianza declarada del modelo no distingue aciertos de errores y que el calibrador solo aprovecha la posición del paso en la conversación. El código y los datos están publicados en GitHub.
Fuentes
- Reddit r/MachineLearningI put a conformal risk control gate between an LLM agent and its write actions on tau-bench. The bound held. The gate didn't beat asking every time [R]