KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
162
Kategorien
2.032
Unterkategorien
23.060
Begriffe
Begriffe
FSDP (Fully Sharded Data Parallel)
Extension du data parallel où les paramètres, gradients et états de l'optimiseur sont entièrement partagés (sharded) à travers les processeurs pour minimiser l'empreinte mémoire par GPU.
Begriffe
Distributed Data Parallel (DDP)
Implémentation PyTorch du data parallel utilisant des communications optimisées et la synchronisation asynchrone pour scaler efficacement l'entraînement sur plusieurs GPU.
🔍