Sábado 7 de noviembre de 2026 ·

Agentes de IA resuelven el 99,4 % de SWE-Bench Pro V2, pero antes 23 ingenieros corrigieron el examen durante 404 horas

Relevancia 52 de 100

Útil para Programadores 50%

En septiembre de 2026 se publicó SWE-Bench Pro V2, un conjunto de tareas de ingeniería reales tomadas de repositorios de GitHub, y el mejor resultado en el conjunto público alcanzó el 99,4 %. Los investigadores detectaron que algunos tests rechazaban código correcto, otros aceptaban arreglos incompletos y, en algunos casos, el agente podía encontrar la solución en internet. Para medir bien a los agentes hubo que corregir las tareas del benchmark.

Qué significa

Las puntuaciones de los agentes de programación solo son comparables si el benchmark está bien construido, y este caso muestra que los exámenes de IA también necesitan revisión antes de dar cifras fiables.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del sábado 7 de noviembre de 2026 ->