AI用語集
人工知能の完全辞典
ネステロフのモーメンタム
推定される将来の位置で勾配を計算することで先行的な修正を適用し、収束を加速させるとともに振動を低減する、モーメンタムアルゴリズムの変種。
Adam (Adaptive Moment Estimation)
モーメンタムとRMSpropのアイデアを組み合わせた最適化アルゴリズムで、勾配の1次モーメントと2次モーメントの推定値を使用して、各パラメータの学習率を適応的に調整する。
AdaGrad
勾配の二乗和の履歴に基づいて各パラメータの学習率を調整する適応型オプティマイザで、出現頻度の低いパラメータを優先する。
AdaDelta
移動平均を通じて過去の勾配の蓄積ウィンドウを固定サイズに制限することで、学習率の過度な減衰を防ぐAdaGradの拡張版。
学習率の減衰
事前に定義されたスケジュール（ステップ、指数、コサインなど）に従って、学習中に学習率を徐々に下げていく戦略。最小値への収束を微調整するために用いられる。
LAMBオプティマイザ (Layer-wise Adaptive Moments)
大規模なトレーニングのために設計された最適化アルゴリズムで、重みと勾配のノルムを使用してレイヤーごとに学習率を適応させ、非常に大きなバッチサイズに対して効率的である。
LARSオプティマイザ (Layer-wise Adaptive Rate Scaling)
重みのノルムと勾配のノルムの比率に基づいて各レイヤーの学習率を適応させる最適化手法で、特に大規模なバッチでのトレーニングに適している。
Lookaheadオプティマイザ
内部オプティマイザによって生成された「高速」な重みの平均に向かって、「低速」な重みを定期的に更新する最適化メカニズム。汎化性能と収束の安定性を向上させる。
RAdam (Rectified Adam)
Adamの変種であり、学習の初期段階における学習率適応の分散を修正することで、ウォームアップ（warmup）フェーズを必要とせずに、より安定した収束を提供します。
SWATS (Switching from Adam to SGD)
急速な収束のためにAdamのような適応的最適化アルゴリズムで学習を開始し、その後、より良い汎化性能のために確率的勾配降下法（SGD）へ切り替える戦略です。
Yogiオプティマイザ
より穏やかな2次モーメントの更新を用いることで、より安定した収束を提供することを目指したAdamの修正版です。振動を減らし、複雑なタスクにおけるパフォーマンスを向上させます。
Shampoo
ブロックヘッセ行列の近似を用いて勾配を前処理する2次のオプティマイザであり、条件数が悪い問題に対して収束を加速させます。
学習率の再起動 (Learning Rate Restart)
学習率を定期的に初期値にリセットする周期的な手法であり、モデルが局所解から脱出し、解空間の新しい領域を探索することを可能にします。