DeepSpeed corrige el sharding de AutoSP para entradas con dimensión de secuencia en posición 0
Un cambio en DeepSpeed (PR #8720) hace que AutoSP respete el parámetro seq_dim al particionar entradas. Antes, el sistema asumía siempre la secuencia en la dimensión 1, lo que fallaba o troceaba el batch en lugar de la secuencia con entradas 'sequence-first' (seq_dim=0). El seq_dim se propaga ahora mediante las etiquetas de tensor, y se añade un test de dos ranks que compara pérdidas con una referencia de un solo dispositivo. Los tests de compilación existentes (TestAutoSPCompile) fallan igual en master en el entorno del autor, por lo que se excluyeron.
Fuentes
- GitHub deepspeedai/DeepSpeeddeepspeedai/DeepSpeed: nightly-bisect/b: [AutoSP] Honor seq_dim when AutoSP shards inputs (#8720)