AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
可变比特量化
一种神经网络优化技术，根据每个权重或激活的重要性动态分配不同的比特数，从而在保持性能的同时减小模型大小。
術語
动态比特分配
一种自动确定每个模型参数最优比特数的算法，通过分析参数的敏感性和对网络整体性能的影响来进行分配。
術語
混合精度量化
一种在同一模型中结合不同数值精度的混合方法，通常对关键层使用8位，对较不敏感的层使用4位或更少。
術語
层敏感量化
一种量化方法，分析每个神经网络层对精度降低的敏感性，以优化比特分配并最小化性能下降。
術語
基于熵的量化
一种利用信息论原理的技术，根据权重分布及其信息熵来确定最优比特数。
術語
非均匀量化
一种使用自适应于参数分布的可变量化步长的量化策略，能够更有效地表示极端值和频繁出现的值。
術語
权重重要性量化
一种通过幅度或梯度等度量评估网络中每个权重重要性的方法，对关键权重分配更多比特，对其他权重分配较少比特。
術語
可微量化
一种使用经典不可微舍入函数的可微近似来实现量化模型端到端训练的技术。
術語
基于学习的量化
一种在训练过程中联合学习量化参数（比特位数、量化点）与模型权重的方法，以实现全局优化。
術語
聚类量化
将相似的权重进行分组，并对每个组应用自适应量化，从而更有效地表示重复性权重结构的技术。
術語
多分辨率量化
对张量的不同部分应用不同量化分辨率的优化方法，以优化数据局部特征和全局特征的表示。
術語
基于分布的量化
一种自适应方法，根据计算过程中每一步的激活值和权重的统计分布动态调整量化策略。
術語
预算约束量化
在固定总比特预算约束下最大化模型精度的优化方法，智能地在所有参数之间分配资源。
術語
渐进式量化
一种增量策略，从激进量化开始，逐步增加关键层的精度，直到达到尺寸与性能的最优平衡。
術語
基于激活重要性的量化
一种专门技术，根据激活值的方差及其对网络梯度传播的贡献进行差异化分析和量化。
🔍