Los laboratorios de IA reportan puntuaciones un 6,4 % más altas que los evaluadores independientes
El autor de whatmodel.sh, una clasificación de modelos de código abierto, comparó 611 casos de 180 modelos en 103 benchmarks, tomados de 1.629 resultados publicados. En promedio, los laboratorios informaron puntuaciones un 6,4 % superiores a las de evaluadores independientes para los mismos modelos y las mismas pruebas. Los datos se publican bajo licencia CC BY-SA 4.0 y el código bajo MIT.
Qué significa
Las cifras de rendimiento que anuncian las propias empresas de IA tienden a ser más altas que las medidas por terceros. Para comparar modelos conviene fijarse en los resultados independientes, que son más fiables que los que publica el propio fabricante.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Reddit r/LocalLLaMALeer la noticia completa en Reddit r/LocalLLaMA