AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
適応的学習率
トレーニング中の学習率を自動調整するメカニズムで、費用関数の地形の局所的な特徴に基づいてパラメータ更新の大きさを変化させる。
用語
勾配の二乗の履歴和
Adagradで使用される過去の勾配の二乗の指数的累積で、パラメータ更新を正規化し、頻繁に高い勾配をペナルティし、歴史的に低い勾配を持つ方向を促進する。
用語
対角スケールファクター
Adagradで勾配を前処理する対角行列で、各要素は個々のパラメータについての勾配の二乗の累積和の平方根を表す。
用語
凸費用関数
表面上の2点間の任意の直線が表面上にある目的関数で、局所的最小値が存在せず、勾配降下法の大域的収束を保証する。
用語
勾配ノルム
勾配ベクトルの大きさの測定で、Adagradでパラメータが歴史的に大きな更新を受けたかどうかを判断し、適応的学習率の調整が必要かを決定するために使用される。
用語
勾配の二乗の期待値
勾配の二乗の長期平均の統計的推定値で、Adagradファミリのオプティマイザでの適応的スケールファクターの計算の基礎となる。
用語
パラメータベクトル
モデルのすべての最適化可能な変数の集合で、Adagradによってベクトルの各成分に対して個別に適応された学習率で反復的に更新される。
用語
不良設定問題
異なる方向での勾配のスケールが大幅に変化する状況で、Adagradが次元ごとに学習率を動的に適応することで特に対処する問題。
用語
バイアス補正
Adamおよびその変種におけるメカニズムで、指数移動平均のゼロ初期化による一次および二次モーメントの初期バイアス推定を補正します。
用語
イプシロン・ハイパーパラメータ
Adagradおよびその変種において、勾配二乗和が非常に小さい場合にゼロ除算を避け数値的安定性を確保するために分母に追加される小さな定数。
🔍