Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Scale et Zero-point
Paramètres fondamentaux de quantification où le scale définit le facteur de conversion entre flottant et entier, tandis que le zero-point représente la valeur entière correspondant au zéro en virgule flottante.
Représentation INT8
Format de quantification utilisant des entiers signés 8-bit (-128 à 127) pour représenter les poids et activations, offrant un compromis optimal entre précision et performance computationnelle sur la plupart des hardware.
Représentation INT4
Format de quantification extrême utilisant des entiers 4-bit (-8 à 7), réduisant significativement la taille du modèle mais introduisant une perte de précision notable nécessitant des techniques de compensation spécialisées.
Distribution des Activations
Analyse statistique des valeurs de sortie des couches neuronales sur un dataset de calibration, cruciale pour déterminer les plages de quantification optimales et minimiser la perte d'information.
Plage Dynamique
Écart entre les valeurs minimales et maximales des activations ou poids, déterminant la résolution de quantification et influençant directement la précision du modèle quantifié.
Biais de Quantification
Déviation systématique introduite par la conversion en représentation de précision réduite, pouvant être compensée par des techniques d'ajustement statistique pendant la calibration.
Table de Recherche LUT
Structure de données précalculée stockant les correspondances entre valeurs quantifiées et déquantifiées, optimisant les opérations de conversion pendant l'inférence pour accélérer les calculs.
Perte de Précision
Dégradation mesurable de la performance du modèle due à la réduction de la précision numérique, évaluée par des métriques comme la dégradation de l'accuracy ou l'augmentation de l'erreur de prédiction.
Optimisation des Poids
Processus d'ajustement fin des poids du modèle après quantification pour compenser les erreurs introduites, utilisant des techniques comme la correction de biais ou l'ajustement par lots.
Calibration Min-Max
Technique de calibration utilisant les valeurs extrêmes observées dans le dataset pour définir la plage de quantification, simple mais sensible aux valeurs aberrantes pouvant dégrader la précision.
Calibration Percentile
Méthode de calibration robuste utilisant des percentiles (ex: 99.9%) plutôt que les valeurs extrêmes, évitant l'influence des outliers et optimisant l'utilisation de la plage dynamique.
Quantification par Couche
Approche appliquant des paramètres de quantification identiques à tous les poids d'une couche, simplifiant l'implémentation mais potentiellement sous-optimale pour les poids aux distributions variées.
Quantification par Canal
Technique avancée quantifiant indépendamment chaque canal de sortie d'une couche convolutive, préservant mieux la précision au prix d'une complexité de calcul légèrement augmentée.