AI用語集
人工知能の完全辞典
混合精度コンピューティング
AIアプリケーションにおいてメモリ性能、計算スループット、結果の精度の間の最適なバランスを最適化するために、複数の可変精度数値フォーマット（FP64、FP32、FP16、INT8）を同時に使用する計算技術。
FP16 (半精度浮動小数点)
1ビットの符号部、5ビットの指数部、10ビットの仮数部から成る16ビットの数値表現フォーマットで、精度の低下を犠牲にして計算を高速化し、メモリフットプリントを削減するために使用される。
FP32 (単精度浮動小数点)
1ビットの符号部、8ビットの指数部、23ビットの仮数部を持つ32ビットの標準数値表現フォーマットで、ほとんどのAIモデルの訓練における精度の基準となっている。
INT8 (8ビット整数)
符号付き整数を表現する8ビットの量子化フォーマットで、主に推論時に使用され、ハードウェアアクセラレータの計算スループットを最大化し、消費電力を最小化する。
テンソルコア
最新のGPU（NVIDIA）に統合された専門計算ユニットで、混合精度（FP16/FP32）の行列乗算-累積演算を高度に並列化して実行するように設計されている。
動的ロススケーリング
損失スケーリングの適応的変種で、スケーリング係数が訓練中に動的に調整され、安定性がある場合は増加し、オーバーフローが発生した場合は減少して収束を最適化する。
マスターウェイト
混合精度で訓練中にFP32（またはFP64）で維持されるモデルの重みのコピーで、重みの更新の精度基準として機能し、順伝播・逆伝播の計算はFP16で実行される。
自動混合精度（AMP）
AIフレームワーク（PyTorch、TensorFlow）の機能で、FP16またはFP32で実行する操作を自動的に選択し、型変換を管理し、損失スケーリングを透過的に適用する。
ベクトル処理ユニット（VPU）
整数精度（INT8）および低精度計算用に最適化された専門的なハードウェアアクセラレータで、エッジデバイスでのニューラルネットワークの効率的な推論用に設計されています。
スパーシティアクセラレーション
混合精度と組み合わせた技術で、テンソル内のゼロを活用して不要な計算をスキップし、メモリ帯域幅を削減し、行列操作の有効スループットを向上させます。
数値安定性解析
精度削減がモデルの収束と最終精度に与える影響を体系的に評価し、混合精度戦略でFP32を維持する必要がある感応層を特定します。
FP8（8ビット浮動小数点）
訓練と推論用に最適化されたさまざまなバリアント（E4M3、E5M2）を持つ8ビット表現の新興フォーマットで、非常に大規模なモデルに対してスループットと精度の極端なトレードオフを提供します。
混合精度での勾配蓄積
FP16で計算された勾配を重みの更新前にFP32バッファに蓄積する技術で、複数のミニバッチにわたる集約時の精度損失を防ぎます。
精度認識プルーニング
各層の精度削減に対する感度を考慮するネットワークプルーニング方法で、低精度で頑健な層により積極的なプルーニングを適用して加速度を最大化します。