Распределенный SGD

Асинхронный SGD

Метод, при котором воркеры независимо обновляют параметры модели без ожидания синхронизации, что повышает пропускную способность, но может привести к появлению устаревших градиентов.

← Назад