Jueves 15 de octubre de 2026 ·
Probar funciones con LLM: cuándo fiarse de tu eval
Útil para
Sergey Prощаев explica que un conjunto de evaluación (eval) para una función con LLM puede salir en verde aunque la función sea mala, si el medidor está mal diseñado. Ilustra el caso de un asistente de soporte que prometió un reembolso inexistente, pese a que una evaluación agregada daba 96%. Propone dejar de usar una sola ejecución y un único número, porque en resultados generativos eso verifica una formulación concreta y no el comportamiento real.
Qué significa
Un porcentaje global de aciertos en pruebas de un asistente con IA no garantiza que responda bien. Antes de confiar en el resultado hay que revisar el propio medidor y repetir las pruebas.
Cómo te afecta
- Programadores
Antes de dar por buena una función con LLM, revisa qué casos mide tu eval, porque un 96% puede esconder un fallo grave como un reembolso prometido que no existe en las reglas. Añade casos con las reglas de negocio reales y revisa a mano las respuestas que el juez LLM marca como correctas.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Habr Machine Learning (RU)Leer la noticia completa en Habr Machine Learning (RU)
También ese día
Todas las noticias de IA del jueves 15 de octubre de 2026 ->