Extension du data parallel où les paramètres, gradients et états de l'optimiseur sont entièrement partagés (sharded) à travers les processeurs pour minimiser l'empreinte mémoire par GPU.

📖

termini

Distributed Data Parallel (DDP)

Implémentation PyTorch du data parallel utilisant des communications optimisées et la synchronisation asynchrone pour scaler efficacement l'entraînement sur plusieurs GPU.

🔍

Glossario IA

FSDP (Fully Sharded Data Parallel)

Distributed Data Parallel (DDP)

Nessun risultato trovato