Lunes 2 de noviembre de 2026 ·

Incoherencias en los resultados de LiveCodeBench de Unsloth para DeepSeek-V4.1-Flash-1017

Relevancia 58 de 100 Estados Unidos, California

Útil para Programadores 65%

Un análisis compara dos gráficos publicados del modelo DeepSeek-V4.1-Flash-1017 en LiveCodeBench v6 y detecta que las cuatro cuantizaciones de Unsloth y la línea base Q8 subieron entre 2 y 3 puntos a la vez. Los primeros resultados corresponden a 525 pruebas (175 problemas con 3 generaciones), mientras que la nueva metodología usa 12 generaciones por problema. Para que las cifras actualizadas sean ciertas, las nueve generaciones adicionales deberían rondar entre el 91,6% y el 92,6% de aciertos.

Qué significa

Pone en duda que las mejoras de las versiones comprimidas de DeepSeek-V4.1 en LiveCodeBench reflejen cambios del modelo y no del método de medición. Afecta a quien compara modelos cuantizados por sus puntuaciones de programación.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del lunes 2 de noviembre de 2026 ->