深層学習の最適化

RAdam (Rectified Adam)

Adamの変種であり、学習の初期段階における学習率適応の分散を修正することで、ウォームアップ（warmup）フェーズを必要とせずに、より安定した収束を提供します。

← 戻る