AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
サブカテゴリ
確率的勾配降下法 (SGD)
各反復でランダムなサンプルを使用してパラメータを更新する基本的な最適化アルゴリズム。
7 用語
サブカテゴリ
ミニバッチ勾配降下法
分散と計算効率のバランスを取るために、小さなサンプルのバッチを使用するSGDの変種。
3 用語
サブカテゴリ
モーメントに基づく最適化
慣性を取り入れて収束を加速させ、狭い谷での振動を低減する手法。
14 用語
サブカテゴリ
適応的学習率手法
AdamやRMSpropのような、各パラメータの学習率を動的に調整するアルゴリズム。
9 用語
サブカテゴリ
分散低減手法
SVRGやSAGAのように、収束性を向上させるために勾配推定の分散を低減する手法。
14 用語
サブカテゴリ
分散SGD
大規模モデルの学習を加速するために、複数のマシンでSGDを並列化するアプローチ。
9 用語
サブカテゴリ
非凸最適化
ディープニューラルネットワークにおける典型的な非凸関数の最適化に特化した手法。
13 用語
サブカテゴリ
学習率スケジューリング
学習中に収束を最適化するための学習率調整戦略
13 用語
サブカテゴリ
二階確率的手法
収束を加速するために近似的な二階情報を利用するアルゴリズム
14 用語
サブカテゴリ
連合学習の最適化
非集中データ上のプライバシー保護分散学習に適応したSGD手法
3 用語
サブカテゴリ
ロバスト確率的最適化
ノイズ混入データおよび敵対的攻撃に対して最適化を頑健にする手法。
3 用語
サブカテゴリ
オンライン学習の最適化
データが逐次的に到着し、継続的な更新が必要なシナリオに適したSGDの変種
6 用語
🔍