Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
242
catégories
3 353
sous-catégories
40 780
termes
termes
FSDP (Fully Sharded Data Parallel)
Extension du data parallel où les paramètres, gradients et états de l'optimiseur sont entièrement partagés (sharded) à travers les processeurs pour minimiser l'empreinte mémoire par GPU.
termes
Distributed Data Parallel (DDP)
Implémentation PyTorch du data parallel utilisant des communications optimisées et la synchronisation asynchrone pour scaler efficacement l'entraînement sur plusieurs GPU.
🔍