AI用語集

📖

用語

履歴の蓄積

過去の勾配情報を蓄積・累積し、学習率を動的に適応させるプロセス。AdaDeltaでは、学習率の無限の減衰を避けるため、この蓄積はスライディングウィンドウに制限されています。

📖

用語

減衰係数

過去の勾配の影響が指数関数的に減少する速度を制御するパラメータ（通常0.9から0.999の間）。この係数は、AdaDeltaなどの適応型アルゴリズムにおけるスライディングウィンドウの実効サイズを決定します。

📖

用語

勾配の正規化

訓練を安定化させるために、履歴統計を使用して勾配をスケーリングするプロセス。AdaDeltaは、勾配をその2乗の移動平均の平方根で割ることにより、勾配を正規化します。

📖

用語

整合性のある単位

AdaDeltaの基本原理で、更新がパラメータと同じ単位を持つため、グローバル学習率の必要性を排除します。このアプローチは、過去の更新の移動平均と現在の勾配の比率を使用します。

📖

用語

パラメータのスケーリング

各パラメータの勾配履歴に基づき、更新の振幅を動的に調整するプロセス。AdaDeltaは、この適応的スケールを決定するために過去の更新の移動平均を使用します。

📖

用語

収束条件

最適化アルゴリズムが局所的最適解または大域的最適解に到達することを保証する数学的基準。AdaDeltaのような適応型アルゴリズムは、最適化ステップの方向と大きさを動的に変更することで、これらの条件を変更します。

📖

用語

最適化状態

将来の更新を計算するために適応型アルゴリズムによって保存される追加情報。AdaDeltaは2つの状態を維持します：勾配の2乗の移動平均と更新の2乗の移動平均です。

📖

用語

ロー（ρ）ハイパーパラメータ

スライディングウィンドウの指数減衰速度を制御するAdaDeltaの唯一のパラメータ（通常0.95に固定）。このパラメータは、更新計算における最近の情報と履歴情報のバランスを決定します。