Distributed SGD

Straggler Problem

Phénomène où certains nœuds plus lents ralentissent l'ensemble du processus d'entraînement distribué synchronisé, particulièrement critique dans les systèmes à grande échelle.

← Zurück