Distributed SGD

Synchronous SGD

Approche où tous les workers doivent synchroniser leurs gradients à chaque itération, garantissant la cohérence du modèle mais pouvant être limitée par le nœud le plus lent (straggler).

← Geri