Распределенный SGD

Синхронный SGD

Подход, при котором все воркеры должны синхронизировать свои градиенты на каждой итерации, что гарантирует согласованность модели, но может быть ограничено самым медленным узлом (straggler).

← Назад