コミュニケーションの最適化

勾配の量子化

通信前に勾配の数値精度（例：32ビットから8ビットへ）を下げてデータ量を最小化する圧縮手法。トレーニングの安定性を維持するために、補償技術が必要になることが多い。

← 戻る