AI用語集
人工知能の完全辞典
ステップ減衰
あらかじめ定められたエポック間隔で、学習率を乗法的な係数によって減少させるスケジューリング手法。このシンプルだが効果的なアプローチにより、学習率を急激に低下させ、モデルを徐々に微調整することが可能になります。
指数減衰
あらかじめ定められた数式に従って、時間または反復回数に応じて学習率が指数関数的に減少する戦略。この手法は、トレーニング全体を通じて学習率を継続的かつ段階的に低下させることを保証します。
ウォームアップ
学習率が低い値から目標値まで徐々に増加するトレーニングの初期段階。この技術は、学習の初期のステップを安定させ、深層アーキテクチャにおけるモデルの発散を防ぎます。
サイクリック学習率
定義された下限と上限の間で学習率が周期的に変動する戦略。この手法は、パラメータ空間の異なる領域を探索することを可能にし、収束を加速させることができます。
ワンサイクルポリシー
学習率を最大値まで上昇させ、その後最終的な値まで低下させるスケジューリングポリシー。しばしば、反比例するモーメンタムの変化と組み合わせて使用されます。このアプローチは、ニューラルネットワークの高速トレーニングにおいて優れた性能を実証しています。
ReduceLROnPlateau
特定のエポック数の間、パフォーマンス指標が改善しなくなった場合に学習率を下げる適応的メカニズム。この戦略は、モデルの実際のパフォーマンスに基づいて学習率を動的に調整します。
学習率ファインダー
学習率を指数関数的に増加させながらモデルの損失を観察することで、学習率の最適な範囲を決定する経験的手法。この手法は、モデルが発散する前の実行可能な最大値を特定します。
SGDR
コサインアニーリングポリシーに従って学習率の定期的な再開を組み込んだSGDの変種（Stochastic Gradient Descent with Restarts）。この技術は、鞍点から逃れることを可能にし、汎化性能を向上させます。
Learning Rate Warm Restarts
学習率の定期的な再起動と、各サイクルごとの段階的なウォームアップフェーズを組み合わせたスケジューリングポリシー。このハイブリッドなアプローチは、パラメータ空間における探索と活用を最適化します。
Polynomial Decay
時間またはトレーニングステップ数の多項式関数に従って学習率を減衰させる戦略。この方法は、べき乗パラメータにより減衰速度を細かく制御できます。
Inverse Time Decay
学習率が時間または反復回数に反比例して減少し、alpha/(1 + decay_rate * step) 型の関数に従うスケジューリング手法。このアプローチは、指数関数的減衰よりも緩やかな減少を保証します。
Learning Rate Range Test
モデルを1エポックだけ訓練し、その間に学習率を広い対数範囲で変化させる診断手順。その結果は、サイクリック学習率戦略の最適な境界を特定するのに役立ちます。
Learning Rate Momentum
収束を最適化するための、学習率のスケジューリングとモーメンタムパラメータの調整の連携。この同期されたアプローチは、トレーニングの安定性と速度を大幅に向上させることができます。