AuditKIT: biblioteca para evaluar y comparar modelos de lenguaje y agentes
Útil para
Se presenta AuditKIT, una biblioteca de evaluación de disponibilidad pública que reúne en un mismo formato la precisión en benchmarks, la valoración por jueces, el rendimiento en ejecución, el uso de herramientas y la calidad de la recuperación de información. Para agentes, compara las llamadas a herramientas por turno y separa los resultados verificados de los diagnósticos de trayectoria. La evidencia no observable se marca como sin puntuar en lugar de contar como fallo. Incluye siete casos de estudio.
Qué significa
Quien compara modelos o agentes de IA obtiene resultados más fiables, porque lo no observado no se cuenta como error. Los equipos de investigación y desarrollo tienen así un criterio común para medir la calidad de sus sistemas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL