AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
量化
降低AI模型权重和激活值数值精度的过程，以优化推理性能并减少内存占用。
術語
8位量化
将模型权重从32位压缩到8位的技术，为大语言模型提供了性能和精度之间的最佳平衡。
術語
4位量化
将权重压缩到4位的极端压缩方法，可实现显著的内存增益，但可能损失质量。
術語
训练后量化（PTQ）
在模型训练后应用的技术，将权重转换为降低的精度，无需完整的重新训练。
術語
量化感知训练（QAT）
在训练过程中模拟量化效果的学习方法，以最小化精度损失。
術語
动态量化
在推理过程中实时量化激活值的方法，提供灵活性但带来计算开销。
術語
静态量化
在推理前预计算量化参数的方法，以牺牲灵活性为代价优化速度。
術語
量化校准
从代表性数据样本中确定最佳量化参数（缩放因子、零点）的过程。
術語
GPTQ
基于梯度的后训练量化，一种先进技术，通过迭代优化量化权重以最小化重构误差。
術語
AWQ
激活感知权重量化，根据相应激活的幅度对权重重要性进行加权的方法。
術語
零样本量化
无需任何校准数据的技术，使用基于权重分布的启发式方法来量化模型。
術語
混合精度量化
根据模型不同层应用不同量化精度的策略，以优化性能/精度权衡。
術語
对称量化
量化方案中值范围以零为中心，简化计算但可能未充分利用动态范围。
術語
非对称量化
允许值范围不以零为中心的方法，针对非对称分布优化量化范围的使用。
術語
缩放因子
用于将连续值映射到量化范围的乘法参数，对量化精度至关重要。
術語
零点
在非对称量化中添加的偏移量，用于将浮点零值与量化表示对齐。
術語
量化噪声
由于精度降低引入的误差，表现为因权重近似导致的模型性能下降。
術語
量化感知微调
量化后进行的轻量调整过程，旨在恢复模型压缩过程中损失的精度。
術語
SmoothQuant
通过数学变换均衡权重和激活值量化难度的量化技术。
術語
LLM.int8()
针对大型语言模型的8位量化方法，结合矩阵分解和混合量化。
🔍