GPT-6.1 Sol y Claude Opus 5.5 son los modelos más coherentes en probabilidades; Claude Haiku 5.5 y otros dos muestran incoherencia persistente
Un estudio comprueba si modelos de lenguaje de frontera cumplen la ley de la probabilidad total sin entrenamiento específico. GPT-6.1 Sol y Claude Opus 5.5 tienen los residuos más bajos, de 0,08 y 0,12 log-odds, mientras Claude Haiku 5.5, Gemini 3.8 Flash y DeepSeek V4-Pro muestran incoherencia de 0,27 a 0,35. En todos los modelos, mayor residuo se asocia a más errores frente a la verdad (Spearman entre 0,40 y 0,62).
Qué significa
Como el residuo no necesita la respuesta correcta, permite detectar respuestas poco fiables de un modelo en casos donde no se conoce la verdad. Es útil para evaluar probabilidades que dan los modelos de IA en situaciones sin datos de referencia.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- arXiv cs.CLLeer la noticia completa en arXiv cs.CL