AI用語集
人工知能の完全辞典
スケールとゼロ点
量子化の基本パラメータ。スケールは浮動小数点数と整数の間の変換係数を定義し、ゼロ点は浮動小数点数のゼロに対応する整数値を表します。
INT8表現
重みとアクティベーションを表現するために8ビット符号付き整数（-128から127）を使用する量子化フォーマットで、ほとんどのハードウェアにおいて精度と計算パフォーマンスの最適なバランスを提供します。
INT4表現
4ビット整数（-8から7）を使用する極限の量子化フォーマットで、モデルサイズを大幅に削減しますが、専門的な補償技術を必要とする顕著な精度低下をもたらします。
アクティベーションの分布
キャリブレーションデータセット上のニューラルネットワーク層の出力値の統計的解析。最適な量子化範囲を決定し、情報の損失を最小限に抑えるために重要です。
ダイナミックレンジ
アクティベーションまたは重みの最小値と最大値の差。量子化の分解能を決定し、量子化モデルの精度に直接影響を与えます。
量子化バイアス
低精度表現への変換によって生じる系統的な偏差。キャリブレーション中の統計的調整技術によって補償することができます。
ルックアップテーブル (LUT)
量子化された値と非量子化された値の対応関係を格納する事前計算されたデータ構造。推論中の変換操作を最適化し、計算を高速化します。
精度の低下
数値精度の低下によるモデルのパフォーマンスの測定可能な劣化。精度の低下や予測エラーの増加などの指標によって評価されます。
重みの最適化
量子化後に生じた誤差を補償するためにモデルの重みを微調整するプロセスであり、バイアス補正やバッチ調整などの技術が使用されます。
Min-Maxキャリブレーション
データセット内で観測された極値を用いて量子化範囲を定義するキャリブレーション手法。単純ですが外れ値の影響を受けやすく、精度の低下を招く可能性があります。
パーセンタイルキャリブレーション
極値ではなくパーセンタイル（例：99.9%）を使用する堅牢なキャリブレーション手法。外れ値の影響を回避し、動的範囲の利用を最適化します。
レイヤーごとの量子化
レイヤー内のすべての重みに同一の量子化パラメータを適用するアプローチ。実装は簡略化されますが、分布が多様な重みに対しては非最適となる可能性があります。
チャネルごとの量子化
畳み込み層の各出力チャネルを独立して量子化する高度な手法。計算量はわずかに増加しますが、精度をより良好に維持できます。