AI用語集
人工知能の完全辞典
クラシックモーメンタム
減衰係数と共に過去の勾配を蓄積し、重みの更新に慣性を作り出す最適化手法。このアプローチにより、一定方向での収束を加速させると同時に振動を減衰させます。
モーメンタム係数（ベータ）
現在の更新に対する過去の勾配の影響を制御するハイパーパラメータで、通常0.9から0.99の間に設定されます。値が高いほど慣性を増やし、狭い谷での最適化軌道を安定させます。
勾配速度
前の反復の重み付き勾配を蓄積するベクトルで、パラメータ空間での降下の方向と速度を表します。速度は現在の勾配と前の速度の線形結合によって各反復で更新されます。
最適化における慣性
パラメータ更新が以前の運動量の一部を保持するアナロジー的な物理現象で、プラトーや浅い局所的最小値を越えることを可能にします。慣性は複雑で非凸な損失地形をナビゲートするのに特に効果的です。
減衰振動
一貫性のある方向でのモーメンタム蓄積により、最適降下方向周辺の変動を段階的に減少させること。このメカニズムは、勾配が強く相関している狭い谷での最適化を特に安定させます。
適応的モーメンタム
慣性係数が最適化地形の局所的特性に応じて動的に調整されるモーメンタムの拡張。この適応により、損失曲面の幾何学に基づいて探索と活用の最適なバランスを可能にします。
勾配履歴
現在の更新方向を計算するために使用される過去の勾配のメモリで、降下の長期的な傾向を捕捉します。指数重み付き履歴は、前の反復の情報を保持しながら最近の勾配を優先します。
仮想質量
モーメンタム係数によって制御される最適化軌道の変化に対する抵抗を表すアナロジーの概念。高い仮想質量は、瞬間的な勾配ノイズに敏感でない滑らかな動きを生成します。
摩擦力
モーメンタムにおける暗黙的正則化のメカニズムであり、発散を避けるために加速を相殺する。通常は係数(1-beta)を介して実装される。この力は数値的安定性を確保し、有意義な極小値への収束を保証する。
確率的モーメンタム
確率的最適化におけるモーメンタムの適用。ノイズの多い勾配が時間平均化され、推定の分散を低減する。この技術は、ミニバッチを使用した大規模データセットでの学習に特に効果的である。
ミニバッチごとのモーメンタム
各サンプル個別ではなく、各ミニバッチ後に速度を更新する戦略。安定性と計算コストの間のトレードオフを提供する。このアプローチは、モーメンタムの利点を維持しながら、より良い汎化を可能にする。
モーメンタムの減衰
学習中にモーメンタム係数を調整する技術。通常、最終的な収束を微調整するために徐々に減少させる。この戦略は、学習初期の高速な探索と最適化の終盤での精度を組み合わせる。
サイクリックモーメンタム
局所的最小値から脱出し、解空間を探索するために、学習サイクルと同期してモーメンタム係数を周期的に変化させる。このアプローチは、改善された全体の最適化のために、しばしばサイクリック学習率と組み合わせられる。
モーメンタムウォームアップ
最初のイテレーションの不安定性を避けるために、モーメンタム係数をゼロから徐々に増加させる学習の初期段階。この技術により、深層ネットワークでの最適化が段階的に安定化する。