AI用語集

📖

用語

TF32 (TensorFloat-32)

FP16の8ビット指数部とFP32の10ビット仮数部を組み合わせた19ビットのNVIDIA独自ハイブリッドフォーマット。AmpereおよびHopper GPUのTensor Coresでの行列演算用に最適化されています。

📖

用語

Dynamic Range

正規化された最小数と最大浮動小数点数との間の表現可能な値の範囲。FP16はFP32（3.4×10³⁸）と比較して動的範囲が限定的（65504）であるため、精度の選択において重要です。

📖

用語

Post-Training Quantization (PTQ)

事前に完全精度で学習したモデルを再学習なしで低精度（FP16、INT8、INT4）に変換するプロセス。キャリブレーション技術を使用して最適なスケールファクターとバイアスを決定します。

📖

用語

Fused Multiply-Add (FMA)

乗算と加算を単一命令（a×b+c）として、単一の丸めで結合するハードウェア操作。混合精度での行列計算の高速化に不可欠で、累積丸め誤差を軽減します。

📖

用語

Numerical Stability

丸め誤差やオーバーフロー/アンダーフローに対して計算精度を維持するアルゴリズムの特性。特に動的範囲が縮小された混合精度では、一部の計算を不安定にする可能性があるため重要です。

📖

用語

INT8 Quantization

スケールファクターとゼロポイントを使用して、8ビット符号付き整数（-128から127）でニューラルネットワークの重みと活性化を圧縮する技術。最大4倍のメモリ削減と、互換性のあるハードウェアでの大幅な高速化を提供します。

📖

用語

Precision Matrix Operations

計算の異なる部分が異なる精度を使用する線形演算（GEMM、畳み込み）のセット。一般的に、現代GPUでのスループットを最適化するために、FP16/BF16で乗算を行いFP32で累積します。