AI用語集

📖

用語

ミニバッチ勾配降下法

純粋なSGDとバッチ勾配降下法の妥協点として、各反復でデータの小さなサブセット（バッチ）を使用して勾配を計算するSGDの変種。

📖

用語

モーメンタム

振動を抑制し、適切な方向への収束を加速させるために、現在の更新ベクトルに前回の更新ベクトルの一部を加えるSGDの加速手法。

📖

用語

学習率スケジュール

収束を向上させるために学習中に学習率を動的に調整する戦略。ステップ減衰、指数減衰、コサインアニーリングなどのアプローチが含まれる。

📖

用語

勾配爆発問題

学習中に勾配が過度に大きくなる問題で、パラメータの更新が不安定になり、学習アルゴリズムが発散する原因となる。

📖

用語

局所最小値

損失関数が局所的な近傍で最小値をとるパラメータ空間上の点。ただし、必ずしも大域的な最小値ではない。

📖

用語

大域的最適解

損失関数が全定義域において最小値をとるパラメータ空間上の点であり、最適化問題における最適な解を表す。

📖

用語

ネステロフ加速勾配法

現在の位置ではなく、先を見越した位置で勾配を計算するモーメンタムの改良版であり、理論的により高速な収束をもたらす。