Thuật ngữ AI
Từ điển đầy đủ về Trí tuệ nhân tạo
162
danh mục
2.032
danh mục con
23.060
thuật ngữ
thuật ngữ
FSDP (Fully Sharded Data Parallel)
Extension du data parallel où les paramètres, gradients et états de l'optimiseur sont entièrement partagés (sharded) à travers les processeurs pour minimiser l'empreinte mémoire par GPU.
thuật ngữ
Distributed Data Parallel (DDP)
Implémentation PyTorch du data parallel utilisant des communications optimisées et la synchronisation asynchrone pour scaler efficacement l'entraînement sur plusieurs GPU.
🔍