Dos años publicando apps que acabaron en la misma mediana
Hariprasad Sudharshan explica en AI Engineer que, tras dos años desarrollando apps, todas terminaron en la misma mediana de resultados. Sostiene que el modelo y la dureza del problema no dependen de quien escribe el código, por lo que los resultados convergen. Cita talento de Google y el número de repositorios en GitHub, pero no presenta ningún benchmark que demuestre que sus propias apps rindieron peor. Además, descarta como ruido de consejo de administración la diferencia de 87 puntos Elo entre Anthropic (1503) y Mistral (1460).
Qué significa
Según el ponente, una diferencia de 87 puntos Elo entre modelos no se traduce en ventaja de producto, así que elegir un modelo solo por ese ranking no garantiza mejores resultados. Él no aporta datos que lo respalden.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- StartupHub.aiLeer la noticia completa en StartupHub.ai