AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
分散機械学習
計算パラダイムで、MLモデルの学習を複数の計算ノードに分散させ、大規模なデータ量を処理し学習時間を短縮する。
用語
パラメータサーバー
分散アーキテクチャで、モデルのパラメータが専用サーバーに集中管理され、ワーカーは局所的に勾配を計算する。
用語
データ並列
データを異なる計算機に分割し、それぞれが同じモデルを異なるデータサブセット上で並列に実行する手法。
用語
モデル並列
単一のモデルを複数のマシンに分割し、各部分がニューラルネットワークまたはアルゴリズムの特定の部分を処理するアプローチ。
用語
分散勾配降下法
勾配降下法の変種で、勾配計算を複数ノードに分散させ、集約後にモデルの重みを更新する。
用語
シャーディング
データの水平分割技術で、データセットをフラグメントに分割し、異なるノードに分散させて効率的な並列処理を実現する。
用語
同期学習
分散学習手法で、すべてのワーカーが各ステップで勾配を同期し、一貫性を保証するがボトルネックを引き起こす可能性がある。
用語
非同期学習
ワーカーが他を待たずに独立にモデルパラメータを更新するアプローチで、速度を向上させるが一貫性が損なわれる可能性がある。
用語
分散深層学習
ニューラルネットワークをクラスタ上で大規模データセットとモデルを扱うための技術の集合
用語
Dask
タスクグラフを使用してメモリより大きなデータセットを扱うためのPythonの並列計算ライブラリで、pandasとNumPyを拡張する
用語
TensorFlow Distributed
TensorFlowの組み込み戦略で、複数のGPUとマシンでモデルの分散トレーニングを自動変数同期で実行
用語
PyTorch Distributed
PyTorchのDistributedDataParallelモジュールで、NCCLとGlooを介して最適化されたプロセス間通信による効率的な分散トレーニングを実現
用語
Hadoop YARN
HadoopのResourceManagerで、ビッグデータの分散コンピューティング環境でリソース割り当てとアプリケーション管理を調整
🔍