AI用語集

📖

用語

先読みメカニズム

最適化手法の一つで、頻繁に更新される高速の重みと、高速重みの平均値に追従する低速の重みの2セットを維持し、汎化性能を向上させる技術。

📖

用語

勾配モーメンタム

最適化手法における加速パラメータで、指数減衰係数で前の勾配を蓄積し、局所的最小値を乗り越えて収束を加速させる。

📖

用語

再起動戦略

Nesterov加速を用いた非凸最適化問題において、振動を避け収束を改善するためにモーメンタムを定期的にゼロにリセットするアプローチ。

📖

用語

適応モーメンタム推定

NAGの利点と勾配の適応正規化を組み合わせ、各パラメータの学習率を動的に適応させるモーメンタム手法の拡張。

📖

用語

勾配ノイズスケール

確率的勾配の分散と勾配ノルムの比率を定量化するパラメータで、NAG手法における最適なバッチサイズの選択に影響を与える。

📖

用語

ウォームアップ戦略

特に深層ネットワークで重要となる、NAGを用いた訓練の初期段階を安定化させるために、学習率とモーメンタムを段階的に初期化する技術。

📖

用語

損失ランドスケープ平滑化

NAGの有益な効果で、損失関数の表面を暗黙的に変更して最小値周りに広い吸引盆地を作り、最適化を容易にする。

📖

用語

加速座標降下法

Nesterovの加速原理を組み込み、スパース構造を持つ高次元問題を効率的に最適化するための座標降下法の変種。

📖

用語

Forward-Backward Splitting

複合最適化のための不動点アルゴリズム。ネステロフの加速法を問題の滑らかな部分に適用し、近接演算子を介して制約を管理します。

📖

用語

Optimal Transport Gradient

最適輸送に基づく最適化問題におけるNAGの適用。加速により、質量と保存の制約を効率的に管理できます。