AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
分散SGD
大規模モデルの学習を高速化するために、勾配の計算とパラメータの更新を複数のマシンやプロセッサに分散させた確率的勾配降下法（SGD）の変種。
用語
同期型SGD
すべてのワーカーが各反復で勾配を同期する必要がある手法。モデルの一貫性は保証されるが、最も遅いノード（ストラグラー）によって処理速度が制限される可能性がある。
用語
非同期型SGD
ワーカーが同期を待たずにモデルのパラメータを独立して更新する手法。スループットは向上するが、古い勾配が生じる可能性がある。
用語
Hogwild!
パラメータへの同時アクセスを許可する、ロックフリーの並列SGDアルゴリズム。書き込みの競合が稀な疎なモデルに対して有効である。
用語
Local SGD
同期のために通信を行う前に、ワーカーが自身のデータで複数回のローカルSGDステップを実行する変種。通信のオーバーヘッドを削減できる。
用語
ストラグラー問題
特定の遅いノードによって、同期型分散学習プロセス全体が遅くなってしまう現象。大規模システムにおいて特に深刻な問題となる。
用語
Elastic Averaging SGD
ローカルな勾配降下法と、ワーカー間で共有される重心にローカルパラメータを近づける弾性力を組み合わせたアルゴリズム。
用語
ビザンチン耐性SGD
不正な、あるいは任意の勾配を送信する故障したワーカーや悪意のあるワーカーを許容できる、堅牢な分散SGDの変種。
用語
量子化SGD
伝送前に勾配の数値精度を低減させる手法で、通常、パラメータあたり1～8ビットを使用してネットワークトラフィックを最小化する。
🔍