AI用語集
人工知能の完全辞典
クラスタリング量子化
モデルの圧縮技術の一種で、パフォーマンスを維持しながらメモリを削減するために、類似した重みをクラスタにグループ化します。このアプローチでは、限られた数の代表的なセントロイド（重心）を使用して、重みをコンパクトに表現することが可能です。
K-means量子化
重み空間をK個のクラスタに分割することで、ニューラルネットワークモデルの重みの量子化に適用されるクラスタリングアルゴリズムです。重みはそれぞれのクラスタのセントロイド（重心）で表現されることで、必要な精度が削減されます。
コードブック
圧縮されたモデルにおいて、量子化された重みを表現するために使用される参照ベクトルまたはセントロイド（重心）の集合です。コードブックは、再構成誤差を最小限に抑えながら、元の重みを低精度の表現にマッピングします。
量子化セントロイド
量子化空間内の各クラスタの中心にある代表的な点で、元の重みの代わりとして機能します。これらのセントロイドは、モデル全体の量子化誤差を最小化するように最適化されています。
積量子化
ベクトル空間を部分空間に分解し、コードを結合する前にそれぞれを個別に量子化する高度な手法です。この手法により、高次元モデルにおいて情報の損失を最小限に抑えつつ、極めて高い圧縮が可能になります。
最適化積量子化
重みの分布を最適化するために、部分空間への分解前に線形変換を適用する積量子化の変種です。この事前変換により、最終的な量子化の品質が大幅に向上します。
加法量子化
異なるコードブックから得られる複数の量子化コードの合計によってベクトルを近似するアプローチです。単一のコードブックを使用するアプローチよりも、表現の柔軟性が高くなります。
残差量子化
以前の量子化ステップで捕捉されなかった残差を順次量子化する反復的な手法です。各反復において、モデルの残りの誤差を捕捉することで近似を精密化します。
階層的クラスタリング量子化
重みをクラスタのツリー構造に整理して、効率的なマルチレベル量子化を行う手法。この階層構造により、精度とストレージの複雑さの間の調整可能なトレードオフが可能になります。
部分空間量子化
重み空間を直交する部分空間に分割し、各次元を独立して量子化する手法。このアプローチは、モデルの本質的な特性を維持しながら、計算の複雑さを軽減します。
量子化におけるマハラノビス距離
より情報量の多いクラスタリングのために、重み間の共分散を考慮した適応的な距離メトリクス。このアプローチは、モデルの構造的相関を考慮することで、形成されるグループの品質を向上させます。
コードブックの学習
量子化されたモデルの全体的な再構成誤差を最小限に抑えるために、セントロイドを最適化するプロセス。この重要なステップは、圧縮とモデルのパフォーマンスの最終的な品質を決定します。
粗量子化器
重みを広範なクラスタに大まかにグループ化する、量子化の第一段階。この高速なステップは、より詳細な量子化ステップのための探索空間を縮小します。
細量子化器
重みの正確な近似のために、制限された部分空間で動作する詳細な量子化レベル。このステップは、粗量子化器による初期グループ化の後、表現を洗練させます。
量子化を伴うIVF
圧縮されたモデル内での効率的な検索のために、転置ファイルインデックス（Inverted File Index）と量子化技術を組み合わせたもの。このハイブリッドアプローチは、インデックス作成と重みのコンパクトな表現の両方を最適化します。
PQコード
各重みベクトルに対する積量子化（Product Quantization）によって生成されるコンパクトなバイナリ表現。これらのコードは、重要な情報を保持しながら、高速な比較と効率的なストレージを可能にします。
格子量子化
規則的な幾何学的構造（格子）を用いて重み空間を均一に分割する手法です。このアプローチは、量子化誤差に対して最適な理論的性質を保証します。