SallyAnn DeLucia, de Arize, presenta 'Decision Judges' para evaluar agentes de IA
Útil para
SallyAnn DeLucia, responsable de producto de Arize, explica cómo escribir una primera evaluación de IA desde cero y defiende las evals como la señal principal para agentes. Presenta Decision Judges, un nuevo tipo de evaluación ligado a la API de modelos de decisión de OpenAI, lanzada unas dos semanas antes. Diferencia entre observabilidad (trazas) y pruebas (evals), y enumera los tipos de evaluación: LLM como juez, modelos de decisión, comprobaciones con código, anotaciones y Agent as a Judge.
Qué significa
Las empresas que desarrollan agentes tienen un método concreto para comprobar regresiones y comparar modelos antes de desplegarlos. Los modelos de decisión devuelven una probabilidad y un sí o no sin explicación, lo que los hace más rápidos y baratos que un juez basado en LLM.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- StartupHub.aiLeer la noticia completa en StartupHub.ai