AI 词汇表
人工智能完整词典
聚类量化
一种模型压缩技术，将相似的权重聚类成簇，以减少内存占用同时保持性能。该方法通过使用有限数量的代表性质心来实现权重的紧凑表示。
K-means量化
一种应用于神经网络权重量化的聚类算法，将权重空间划分为K个簇。权重随后由其所属簇的质心表示，从而降低所需的精度。
码本
一组参考向量或质心，用于表示压缩模型中的量化权重。码本允许将原始权重映射到低精度表示，同时最小化重建误差。
量化质心
量化空间中每个簇中心的代表性点，作为原始权重的替代。这些质心经过优化，以最小化模型的全局量化误差。
乘积量化
一种高级技术，将向量空间分解为子空间并分别量化，然后组合编码。该方法可实现极高压缩率，同时对高维模型造成最小的信息损失。
优化乘积量化
乘积量化的变体，在分解为子空间之前应用线性变换以优化权重分布。这种预处理显著提高了最终量化的质量。
加性量化
一种方法，向量通过来自不同码本的多个量化码之和来近似。该方法比单一码本方法提供更好的表示灵活性。
残差量化
一种迭代技术，依次量化先前量化步骤未捕获的残差。每次迭代通过捕获模型剩余的误差来细化近似。
层次聚类量化
将权重组织成树状聚类结构以实现高效多级量化的方法。该层次结构可在精度与存储复杂度之间进行可调节的权衡。
子空间量化
将权重空间划分为正交子空间以独立量化各维度的技术。该方法在降低计算复杂度的同时保留模型的关键特征。
量化中的马氏距离
考虑权重间协方差的自适应距离度量，用于更具信息量的聚类。该方法通过考虑模型的结构相关性来提升分组质量。
码本学习
优化质心以最小化量化模型全局重建误差的优化过程。这一关键步骤决定了最终压缩质量和模型性能。
粗量化器
第一级量化，将权重粗略分组到较大的聚类中。这一快速步骤为更精细的量化阶段缩小搜索空间。
细量化器
在受限子空间上进行详细量化以精确逼近权重的量化级别。该步骤在粗量化器完成初始分组后细化表示。
IVF与量化结合
倒排文件索引与量化技术的结合，用于压缩模型中的高效搜索。这种混合方法同时优化索引和权重的紧凑表示。
PQ编码
乘积量化为每个权重向量生成的紧凑二进制表示。这些编码支持快速比较和高效存储，同时保留关键信息。
格点量化
使用规则几何结构（格点）来均匀划分权重空间的方法。这种方法为量化误差提供了最优的理论性质保证。