AI 용어집
인공지능 완전 사전
162
카테고리
2,032
하위 카테고리
23,060
용어
용어
FSDP (Fully Sharded Data Parallel)
Extension du data parallel où les paramètres, gradients et états de l'optimiseur sont entièrement partagés (sharded) à travers les processeurs pour minimiser l'empreinte mémoire par GPU.
용어
Distributed Data Parallel (DDP)
Implémentation PyTorch du data parallel utilisant des communications optimisées et la synchronisation asynchrone pour scaler efficacement l'entraînement sur plusieurs GPU.
🔍