AI用語集

📖

用語

キーファー・ウルフォウィッツ過程

ロビンス・モンロアルゴリズムの拡張で、有限差分によるノイズを含む勾配推定を用いて関数の極値を見つける最適化手法。

📖

用語

確率的ニュートン法

ニュートン法の確率的変種で、ヘッセ行列をノイズを含む観測から推定し、最適点への収束を加速する。

📖

用語

確率的勾配降下法（SGD）

データのサブセットで計算されたノイズを含む勾配推定を用いてパラメータを更新する最適化アルゴリズム。

📖

用語

適応的ステップサイズ

確率的近似アルゴリズムにおいて、収束速度と安定性を最適化するためにステップサイズを動的に調整する戦略。

📖

用語

ロビンス・モンロ条件

確率的近似アルゴリズムの収束を保証するためのステップサイズ列に関する数学的条件（無限和だが二乗和は有限）。

📖

用語

確率的近似におけるバイアスと分散

非ゼロのステップサイズによる推定バイアスと観測ノイズによる分散のトレードオフ分析による性能最適化。

📖

用語

SPSA法

同時摂動確率的近似法。すべてのパラメータを同時に摂動させ、関数の測定をわずか2回行うだけで勾配を推定する効率的な技術。

📖

用語

測定ノイズ

目的関数の観測に影響を与えるランダムな誤差。通常、既知の統計的特性を持つ加法性白色ノイズとしてモデル化される。

📖

用語

減衰学習率

典型的には a/(n+b) の形式で、n は反復回数を表す減少ステップのシーケンス。収束を保証しつつ効果的な学習率を維持する。

📖

用語

ミニバッチ勾配法

バッチ勾配法と確率的勾配法の中間的な変種で、小さな観測値のバッチを使用して勾配推定の分散を減少させる。

📖

用語

確率近似におけるモーメンタム

以前の勾配に基づく慣性を追加することで収束を加速する技術。強い曲率方向での振動を緩和する。

📖

用語

ADAMアルゴリズム

Adaptive Moment Estimation。モーメンタムとパラメータごとの適応学習率を組み合わせた最適化手法で、深層学習において特に効果的。

📖

用語

リプシッツ条件

目的関数の正則性に関する仮定で、勾配の変動に上限を保証する。確率的アルゴリズムの収束証明に不可欠。