Машинное обучение в масштабе

AllReduce

Коллективный алгоритм коммуникации, позволяющий осуществлять синхронную редукцию и распространение градиентов между всеми узлами в распределенной среде обучения.

← Назад