Jueves 29 de octubre de 2026 ·
El ranking de modelos de IA y el azar: una ventaja de 1,8 puntos puede no significar nada
El autor muestra que las clasificaciones de modelos pueden engañar: en AIME, con 30 problemas, cada pregunta vale 3,3 puntos, así que dos modelos no pueden diferir en 1,8 puntos en una sola prueba. Para estudiarlo, evaluó ocho modelos pequeños de código abierto sobre las mismas 2.000 preguntas aleatorias de MMLU, un test de opción múltiple en 57 materias, leyendo la probabilidad de cada letra de respuesta, sin generar texto y en una GPU T4 de Colab. Aplica las recomendaciones de Evan Miller (Anthropic, 2024): barras de error, comparación de modelos sobre las mismas preguntas y cálculo del número de preguntas necesarias.
Qué significa
Las posiciones en un ranking pueden deberse al conjunto de preguntas y no a la calidad real de los modelos, lo que cambia cómo deben leerse las clasificaciones que usan empresas y medios para elegir modelos.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Towards Data ScienceLeer la noticia completa en Towards Data Science
También ese día
Todas las noticias de IA del jueves 29 de octubre de 2026 ->