Irene Solaiman (Hugging Face) advierte de que los evaluadores de IA integrados en los laboratorios no corrigen los benchmarks defectuosos
Útil para
La responsable de políticas de Hugging Face, Irene Solaiman, sostiene que los evaluadores independientes dentro de los laboratorios de IA no solucionan los fallos de fondo de los benchmarks, como la saturación rápida, la contaminación de datos o la divulgación selectiva de resultados. Señala que la reproducibilidad exige acceso al modelo, y que los pesos abiertos son clave para ello. Según TechCrunch, OpenAI y Anthropic se comprometieron en septiembre de 2026 a incorporar evaluadores independientes, y una carta abierta de más de 100 investigadores pidió independencia estructural y control editorial para ellos.
Qué significa
Los laboratorios que han apostado por evaluadores internos como respuesta a los incidentes de seguridad tendrán que demostrar que su independencia es real. Para los usuarios, cualquier récord en un benchmark debe leerse con prudencia hasta que la evaluación madure como ciencia.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- Hugging FaceLeer la noticia completa en Hugging Face
- Hugging FaceLeer la noticia completa en Hugging Face
- TechCrunch AILeer la noticia completa en TechCrunch AI
- Crypto BriefingLeer la noticia completa en Crypto Briefing