Глоссарий ИИ
Полный словарь искусственного интеллекта
Quantization-Aware Training (QAT)
Méthode d'entraînement de modèles de deep learning simulant la quantification pendant le processus d'apprentissage pour optimiser les performances post-quantification.
Fake Quantization
Opération simulant les effets de la quantification lors de l'entraînement en arrondissant les valeurs tout en maintenant les gradients pour la rétropropagation.
Quantization Range
Intervalle de valeurs [min, max] utilisé pour mapper les nombres flottants vers des entiers quantifiés, déterminant la précision de la représentation.
Symmetric Quantization
Technique de quantification où l'intervalle est centré autour de zéro, simplifiant les calculs mais pouvant réduire l'efficacité pour les distributions asymétriques.
Asymmetric Quantization
Méthode de quantification utilisant un point zéro différent de zéro, optimisant l'utilisation de la plage dynamique pour des distributions non centrées.
Dynamic Range Quantization
Technique adaptant dynamiquement les plages de quantification pendant l'exécution pour optimiser l'utilisation des bits disponibles.
Per-Tensor Quantization
Méthode appliquant un seul ensemble de paramètres de quantification à l'ensemble d'un tenseur, simplifiant l'implémentation.
Integer-Only Quantization
Approche éliminant complètement les opérations flottantes, nécessitant des techniques spécialisées pour maintenir la précision du modèle.
Layer-wise Quantization
Stratégie optimisant individuellement la quantisation de chaque couche selon ses caractéristiques spécifiques et sensibilité.
Quantization Sensitivity Analysis
Évaluation de l'impact de la quantisation sur chaque composante du modèle pour identifier les couches nécessitant une attention particulière.
Quantization-Aware Training Loop
Cycle d'entraînement modifié intégrant des opérations de simulation de quantification à chaque forward et backward pass.
Batch Folding
Technode d'optimisation fusionnant les paramètres de batch normalization avec les poids convolutifs avant la quantification.
Gradient Clipping in QAT
Méthode limitant l'amplitude des gradients pendant l'entraînement quantifié pour stabiliser la convergence malgré les approximations.
Stepped Quantization
Approche progressive augmentant graduellement le niveau de quantification pendant l'entraînement pour faciliter l'adaptation du modèle.