AI 词汇表
人工智能完整词典
Scale et Zero-point
Paramètres fondamentaux de quantification où le scale définit le facteur de conversion entre flottant et entier, tandis que le zero-point représente la valeur entière correspondant au zéro en virgule flottante.
Représentation INT8
Format de quantification utilisant des entiers signés 8-bit (-128 à 127) pour représenter les poids et activations, offrant un compromis optimal entre précision et performance computationnelle sur la plupart des hardware.
Représentation INT4
Format de quantification extrême utilisant des entiers 4-bit (-8 à 7), réduisant significativement la taille du modèle mais introduisant une perte de précision notable nécessitant des techniques de compensation spécialisées.
Distribution des Activations
Analyse statistique des valeurs de sortie des couches neuronales sur un dataset de calibration, cruciale pour déterminer les plages de quantification optimales et minimiser la perte d'information.
Plage Dynamique
Écart entre les valeurs minimales et maximales des activations ou poids, déterminant la résolution de quantification et influençant directement la précision du modèle quantifié.
Biais de Quantification
Déviation systématique introduite par la conversion en représentation de précision réduite, pouvant être compensée par des techniques d'ajustement statistique pendant la calibration.
Table de Recherche LUT
Structure de données précalculée stockant les correspondances entre valeurs quantifiées et déquantifiées, optimisant les opérations de conversion pendant l'inférence pour accélérer les calculs.
Perte de Précision
Dégradation mesurable de la performance du modèle due à la réduction de la précision numérique, évaluée par des métriques comme la dégradation de l'accuracy ou l'augmentation de l'erreur de prédiction.
权重优化
量化后对模型权重进行精细调整以补偿引入误差的过程，使用偏置校正或批量调整等技术。
最小-最大校准
使用数据集中观测到的极值来定义量化范围的校准技术，简单但对可能降低精度的异常值敏感。
百分位校准
使用百分位数（如99.9%）而非极值的稳健校准方法，避免异常值影响并优化动态范围利用。
逐层量化
对一层所有权重应用相同量化参数的方法，简化实现但可能对分布多样的权重次优。
逐通道量化
独立量化卷积层每个输出通道的高级技术，以略增计算复杂度为代价更好地保持精度。