AI用語集

人工知能の完全辞典

236

カテゴリ

3,245

サブカテゴリ

39,334

用語

Adamにおける勾配の指数移動平均で、統計的な一次モーメント（平均）の推定値を表し、パラメータの更新方向を導きます。

Adamにおける勾配の二乗の指数移動平均で、統計的な非中心二次モーメント（非中心分散）の推定値を表し、更新の大きさを適応させます。

Adamのハイパーパラメータで、一次モーメント（勾配）の移動平均の指数減衰率を制御し、通常は0.9に設定され、新しさと履歴のバランスを取ります。

Adamのハイパーパラメータで、二次モーメント（勾配の二乗）の移動平均の指数減衰率を制御し、通常は0.999に設定され、分散の安定した推定を可能にします。

Adamの修正版で、二次モーメントの推定値の最大値を維持することで理論的な収束を保証し、実効学習率の単調でない増加を避けます。

Adamにおける学習率を徐々に減少させる戦略で、訓練の最終段階でステップサイズを小さくすることで収束を微調整するためによく使用されます。

🔍