モーメントに基づく最適化

LAMB

大規模モデルの効率的な学習のために、Adamのような適応的統計量を統合してLARSを拡張したLayer-wise Adaptive Moments optimizer for Batch training。

← 戻る