AI用語集

人工知能の完全辞典

236

カテゴリ

3,245

サブカテゴリ

39,334

用語

SGDの変種であり、以前の更新の記憶を取り入れることで振動を抑制し、勾配の一貫した方向において収束を加速します。

SGDとバッチ勾配法の折衷案であり、小さなデータのサブセットを使用して勾配を推定することで、収束速度と数値的安定性の間でより良いバランスを提供します。

モーメンタムの改良版であり、勾配の計算前に予測ステップを行うことで、理論的に優れた収束性とより良い数値的安定性をもたらします。

Adamの修正版であり、適応的な更新から重み減衰を分離することで、汎化性能と継続的な学習の文脈における安定性を向上させます。

Adamの拡張であり、L2ノルムの代わりに過去の勾配の無限大ノルムを使用することで、シーケンシャルデータの極端なケースにおいてより良い数値的安定性を提供します。

NesterovモーメンタムとAdamの組み合わせであり、Adamの適応的フレームワークにNesterovの加速を統合することで、潜在的により高速な収束を実現します。

🔍