Sábado 7 de noviembre de 2026 ·

SealedBench: un protocolo para congelar benchmarks de IA antes de conocer las preguntas

Relevancia 54 de 100

Útil para Programadores 60%

SealedBench propone generar el examen de evaluación con un programa cifrado con la aleatoriedad de la red drand, de modo que las preguntas no se conocen hasta un momento fijado. Un registro en Arweave permite a cualquiera reconstruir el examen y comprobar las puntuaciones. El autor evaluó cuatro modelos de pesos abiertos con 360 respuestas cada uno, 240 sobre preguntas nuevas y 120 sobre ejemplos públicos de GSM8K. Descarta dos primeras tandas: en la segunda, el evaluador no reconoció las respuestas porque el marcador de fin de texto de llama.cpp quedaba en la misma línea que el resultado.

Qué significa

Ofrece una forma verificable de comprobar que las puntuaciones de un modelo no se prepararon con las preguntas de antemano, algo que hoy es difícil de demostrar en los benchmarks habituales.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del sábado 7 de noviembre de 2026 ->