AI用語集

📖

用語

Adagrad

各パラメータの学習率を蓄積された勾配の履歴に基づいて動的に調整する適応最適化アルゴリズム。頻度の低いパラメータには大きな更新を、頻度の高いパラメータには小さな更新を可能にする。

📖

用語

RMSprop

Adagradの学習率の過剰な減衰問題を解決する最適化手法で、勾配の二乗の指数移動平均を使用する。RMSpropは学習率を劇的に減衰させることなく適応的な学習率を維持する。

📖

用語

学習率減衰

学習中に学習率を徐々に減少させる正則化技術で、最適解へのより細かな収束を可能にする。学習率減衰は学習の最終段階における最適化の安定化に役立つ。

📖

用語

勾配ノイズ

確率的手法におけるデータのランダムサンプリングによる勾配推定に内在する統計的変動。ノイズは局所最適解からの脱出を助けるが、その分散を制御する技術が必要。

📖

用語

勾配分散

確率的手法における勾配推定のばらつきの尺度で、最適化の安定性に直接影響する。分散低減は確率的アルゴリズムの効率改善における重要な目標である。

📖

用語

バッチサイズ

ミニバッチ手法において各勾配推定を計算するために使用されるサンプル数。バッチサイズは計算効率、勾配推定の品質、汎化性能のトレードオフに影響する。

📖

用語

エポック

データセットの各サンプルがパラメータ更新に正確に1回使用される完全な学習サイクル。エポックは学習を構造化し、学習の進捗を監視することを可能にする。

📖

用語

ロビンス-モンロ法

ノイズのある観測と減衰ステップを使用して関数の零点に収束する基本的な確率近似アルゴリズム。この手法は現代の確率的勾配降下法の理論的基礎を構成する。