エンコーダ・デコーダアーキテクチャ

コサイン学習率

学習率をコサイン関数に従って減少させ、初期のウォームアップ段階を持つ学習率スケジューリング戦略で、Transformerモデルの収束性能が向上することが示されている。

← 戻る