PyTorch corrige el resharding de FSDP2 a una malla más pequeña tras el forward
Un commit de PyTorch corrige un error en FSDP2 cuando reshard_after_forward es un entero: desde la versión con el cambio #137496, el all-gather de parámetros Shard(i>0) lanzaba un IndexError. Ahora los shards se copian de forma plana y FSDP comprueba todos los parámetros de un grupo antes de reshardear, lanzando un NotImplementedError con el nombre del parámetro si no se soporta. Según el texto, las configuraciones que ya funcionaban dan los mismos resultados, por lo que no hay cambios incompatibles.
Qué significa
Quien use FSDP2 con reshard_after_forward entero y parámetros Shard(i>0) puede ver casos que antes fallaban ahora funcionando, y los no soportados darán un error claro en vez de fallar a mitad de ejecución.
Fuentes originales
Resumen de Hoy en IA. Pulsa una fuente para leer la noticia completa en su idioma original.
- GitHub pytorch/pytorchLeer la noticia completa en GitHub pytorch/pytorch