AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
TF32 (TensorFloat-32)
NVIDIA专有的19位混合格式，结合了FP16的8位指数和FP32的10位尾数，针对Ampere和Hopper架构GPU上Tensor Core的矩阵运算进行了优化。
个术语
Dynamic Range
可表示数值范围，从最小标准化数到最大浮点数，在选择精度时至关重要，因为FP16的动态范围（65504）相比FP32（3.4×10³⁸）有限。
个术语
Post-Training Quantization (PTQ)
将全精度预训练模型转换为低精度（FP16、INT8、INT4）的过程，无需重新训练，使用校准技术确定最优的缩放因子和偏置。
个术语
Fused Multiply-Add (FMA)
硬件操作，将乘法和加法组合为单条指令（a×b+c）并进行单次舍入，对于混合精度下的矩阵计算加速至关重要，并减少累积舍入误差。
个术语
Numerical Stability
算法在面对舍入误差和溢出/下溢时保持计算精度的特性，在混合精度中尤其关键，因为动态范围减小可能使某些计算不稳定。
个术语
INT8 Quantization
将神经网络的权重和激活压缩为8位有符号整数（-128至127）的技术，使用缩放因子和零点，可在兼容硬件上实现高达4倍内存减少和显著加速。
个术语
Precision Matrix Operations
线性运算集合（GEMM、卷积），其中计算的不同部分使用不同精度——通常FP32累加与FP16/BF16乘法结合，以在现代GPU上优化吞吐量。
🔍