AI用語集

📖

用語

重み共有

ニューラルネットワークの複数の接続が同じパラメータを共有し、ユニークな重みの数を大幅に削減する方法。

📖

用語

低ランク分解

重み行列を低ランク行列の積に分解し、ネットワークの密な層を圧縮する手法。

📖

用語

テンソル分解

畳み込み重みテンソルをより単純なテンソルに分解する高度な技術で、計算複雑性を低減する。

📖

用語

スパースコーディング

多くのゼロ係数で活性化を表現し、効率的な圧縮と高速計算を可能にする手法。

📖

用語

ハフマン符号化

重みの出現頻度に基づいて可変長のバイナリコードを割り当てる可逆圧縮アルゴリズム。

📖

用語

モデル分割

モデルをクライアントとサーバー間に分散配置し、通信量を最小化しながら機密性を保持する分割手法。

📖

用語

パラメータ二値化

重みを二値（+1/-1）に変換し、メモリ使用量を劇的に削減し、制約のあるデバイスでの計算を高速化する手法。

📖

用語

連合平均化

クライアントのデータセットサイズに基づいてローカルモデル更新を重み付けし、グローバルな収束を図る集約アルゴリズム。

📖

用語

モデル剪定率

元のモデルから削除される重みまたはニューロンの割合で、適用される圧縮レベルを決定する。

📖

用語

量子化対応トレーニング

圧縮後の性能低下を最小限に抑えるために、量子化の影響を統合したトレーニング。