Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Quantification Structurellement Contrainte
Technique de compression neuronale qui applique des contraintes de quantification spécifiques tout en préservant l'architecture et les relations structurelles du réseau neuronal.
Quantification Aware Training (QAT)
Méthode d'entraînement qui simule les effets de la quantification pendant le processus d'apprentissage pour minimiser la perte de précision post-quantification.
Post-Training Quantification (PTQ)
Processus de quantification appliqué après l'entraînement complet du modèle sans nécessiter de réentraînement supplémentaire.
Granularité de Quantification
Niveau de détail auquel les paramètres sont regroupés pour la quantification, variant du niveau tenseur au niveau canal ou groupe.
Biais de Quantification
Erreur systématique introduite lors de la conversion des nombres à virgule flottante en représentation à faible précision.
Calibration de Quantification
Processus de détermination des paramètres de quantification optimaux (scale et zero-point) en analysant la distribution des activations.
Clustering de Poids
Technique regroupant les poids similaires en clusters partageant une valeur représentative commune pour réduire la complexité.
Précision Quantifiée
Nombre de bits utilisés pour représenter chaque valeur quantifiée, typiquement 8, 4, 2 ou 1 bit dans les méthodes extrêmes.
Gamme Dynamique
Intervalle de valeurs que peut représenter le format quantifié, crucial pour préserver les informations importantes du modèle.
Quantification à Basse Précision
Compression extrême utilisant moins de 8 bits par paramètre, nécessitant des techniques avancées pour maintenir les performances.
Reconstruction de Poids
Processus d'optimisation visant à minimiser l'erreur entre les poids originaux et leurs versions quantifiées reconstruites.
Optimisation de la Structure de Quantification
Algorithmes déterminant automatiquement la configuration de quantification optimale pour chaque partie du réseau.
Sensibilité à la Quantification
Mesure de l'impact de la quantification sur les performances d'une couche spécifique, guidant les stratégies de quantification hétérogène.
Quantification avec Contraintes de Topologie
Approche préservant les propriétés topologiques du réseau tout en appliquant des contraintes de quantification spécifiques.