Extension du data parallel où les paramètres, gradients et états de l'optimiseur sont entièrement partagés (sharded) à travers les processeurs pour minimiser l'empreinte mémoire par GPU.

📖

istilah

Distributed Data Parallel (DDP)

Implémentation PyTorch du data parallel utilisant des communications optimisées et la synchronisation asynchrone pour scaler efficacement l'entraînement sur plusieurs GPU.

🔍

Glosarium AI

FSDP (Fully Sharded Data Parallel)

Distributed Data Parallel (DDP)

Tidak ada hasil ditemukan