Harbor, framework de código abierto de Arize para evaluar agentes de IA con tareas reales
Útil para
Xander Song, ingeniero de Arize AI, presentó Harbor en AI Engineer como un framework de código abierto para probar agentes con tareas y datos reales dentro de entornos aislados. Cada tarea se ejecuta varias veces en contenedores Docker nuevos, con un verificador que comprueba los efectos esperados y una puntuación binaria de aprobado o suspenso. Incluye un oracle que resuelve la tarea sin agente para validar la configuración. Escala con proveedores como Daytona, Modal y E2B, con un ejemplo de 200 trabajadores concurrentes. Las trazas se visualizan en Phoenix, la plataforma de observabilidad de Arize, mediante el formato Open Inference.
Qué significa
Permite repetir las pruebas de un agente con el mismo criterio de éxito, en lugar de juzgarlo a ojo, y comparar sus versiones de forma objetiva.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- StartupHub.aiLeer la noticia completa en StartupHub.ai