AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
分離されたL2正則化
重み減衰を勾配更新から分離し、正則化を最適化ステップとは独立して適用すること。
用語
beta1とbeta2のハイパーパラメータ
AdamWアルゴリズムにおいて、一次および二次モーメントの指数的減衰をそれぞれ制御する係数。
用語
一次モーメント
誤差の峡谷で収束を加速させるため、降下の平均方向を捉える勾配の指数移動平均。
用語
二次モーメント
局所的な曲率に応じて学習率を適応させるため、分散を推定する勾配の二乗の指数移動平均。
用語
安定化イプシロン
勾配の正規化時にゼロによる除算を避け、数値的安定性を確保するため分母に追加される小さな定数。
用語
漸近的収束
ある条件下で、反復回数が無限大に近づくとアルゴリズムが臨界点に到達することを保証する理論的性質。
用語
勾配の分解
AdamWの実装において、勾配を重み減衰成分と実際の更新成分にベクトル的に分離すること。
用語
コールドスタートバイアス
ゼロ初期化による初期反復時のモーメントのバイアス推定問題で、AdamWのバイアス補正因子によって修正される。
用語
重み減衰因子
各重み更新に独立して適用されるデカップルL2正則化の強度を制御するラムダパラメータ。
用語
適応的正規化
勾配の二階モーメントの平方根で勾配を割ることにより、勾配履歴に基づいて更新の振幅を正規化する方法。
🔍