Распределенный SGD

Проблема отстающих узлов

Явление, при котором некоторые более медленные узлы замедляют весь процесс синхронизированного распределенного обучения, что особенно критично в крупномасштабных системах.

← Назад