Jueves 15 de octubre de 2026 ·

DeepSpeed reduce la memoria de la prueba de entropía cruzada por bloques en CI

Relevancia 29 de 100 Estados Unidos, Washington

Un cambio en DeepSpeed reduce el tamaño de una prueba de entropía cruzada por bloques, que llegaba a ocupar 28 GiB de memoria GPU y bloqueaba el CI. Baja de 8.192 a 128 tokens y mantiene el vocabulario de 151.936 entradas, de modo que cada tensor FP32 pasa de 4,64 GiB a 74,2 MiB. La comparación de gradientes ahora usa bloques de ocho filas y conteos enteros, y la prueba se ejecuta con los backends torch y Triton.

Qué significa

Las pruebas de este cálculo dejan de agotar la memoria de la GPU durante la integración continua; el cambio está en la prueba y no en el código de entrenamiento.

Fuentes originales

Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.

También ese día

Todas las noticias de IA del jueves 15 de octubre de 2026 ->