Jueves 29 de octubre de 2026 ·
Por qué un LLM da respuestas distintas con temperatura 0: el fallo de 'batch invariance' según Thinking Machines
Útil para
Thinking Machines y Avi Chawla muestran que Qwen3-235B, con temperatura 0, dio 80 respuestas distintas en 1.000 envíos del mismo prompt. La causa es el número de peticiones que el servidor procesa a la vez, que cambia cómo el GPU redondea las sumas. vLLM y SGLang incorporan kernels invariantes al lote que logran 1.000 respuestas idénticas de 1.000, a cambio de una pérdida de velocidad de entre el 20% y el 34%.
Qué significa
Quien necesite resultados reproducibles, como auditorías o evaluaciones de modelos, deberá aceptar más lentitud en el servidor para obtener siempre la misma respuesta.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- #LLMタグLeer la noticia completa en #LLMタグ
También ese día
Todas las noticias de IA del jueves 29 de octubre de 2026 ->