YZ Sözlüğü
Yapay Zekanın tam sözlüğü
162
kategoriler
2.032
alt kategoriler
23.060
terimler
terimler
FSDP (Fully Sharded Data Parallel)
Extension du data parallel où les paramètres, gradients et états de l'optimiseur sont entièrement partagés (sharded) à travers les processeurs pour minimiser l'empreinte mémoire par GPU.
terimler
Distributed Data Parallel (DDP)
Implémentation PyTorch du data parallel utilisant des communications optimisées et la synchronisation asynchrone pour scaler efficacement l'entraînement sur plusieurs GPU.
🔍