Оптимизация связи

Квантизация градиента

Метод сжатия, снижающий численную точность градиентов (например, с 32-бит до 8-бит) перед передачей для минимизации объема обмениваемых данных. Часто требует методов компенсации для сохранения стабильности обучения.

← Назад