Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Quantification par Regroupement
Technique de compression de modèles qui regroupe les poids similaires en clusters pour réduire la mémoire tout en préservant les performances. Cette approche permet une représentation compacte des poids en utilisant un nombre limité de centroïdes représentatifs.
K-means Quantification
Algorithme de clustering appliqué à la quantification des poids de modèles neuronaux en partitionnant l'espace des poids en K clusters. Les poids sont ensuite représentés par les centroïdes de leurs clusters respectifs, réduisant ainsi la précision nécessaire.
Codebook
Ensemble de vecteurs de référence ou centroïdes utilisés pour représenter les poids quantifiés dans un modèle compressé. Le codebook permet de mapper les poids originaux à des représentations de faible précision tout en minimisant l'erreur de reconstruction.
Centroïdes de Quantification
Points représentatifs au centre de chaque cluster dans l'espace de quantification, servant de substituts aux poids originaux. Ces centroïdes sont optimisés pour minimiser l'erreur de quantification globale du modèle.
Product Quantization
Technique avancée décomposant l'espace vectoriel en sous-espaces et quantifiant chacun séparément avant de combiner les codes. Cette méthode permet une compression extrême avec une perte d'information minimale pour les modèles de grande dimension.
Optimized Product Quantization
Variante de la Product Quantization qui applique une transformation linéaire avant la décomposition en sous-espaces pour optimiser la distribution des poids. Cette pré-transformation améliore significativement la qualité de la quantification finale.
Additive Quantization
Approche où les vecteurs sont approximés par la somme de plusieurs codes quantifiés provenant de différents codebooks. Cette méthode offre une meilleure flexibilité de représentation que les approches à codebook unique.
Residual Quantization
Technique itérative quantifiant successivement les résidus non capturés par les étapes de quantification précédentes. Chaque itération affine l'approximation en capturant les erreurs restantes du modèle.
Hierarchical Clustering Quantification
Méthode organisant les poids dans une structure arborescente de clusters pour une quantification multi-niveaux efficace. Cette hiérarchie permet un compromis ajustable entre précision et complexité de stockage.
Subspace Quantization
Technique divisant l'espace des poids en sous-espaces orthogonaux pour quantifier indépendamment chaque dimension. Cette approche réduit la complexité computationnelle tout en préservant les caractéristiques essentielles du modèle.
Distance de Mahalanobis en Quantification
Métrique de distance adaptative tenant compte de la covariance entre les poids pour un clustering plus informatif. Cette approche améliore la qualité des groupes formés en considérant les corrélations structurelles du modèle.
Apprentissage du Codebook
Processus d'optimisation des centroïdes pour minimiser l'erreur de reconstruction globale du modèle quantifié. Cette étape cruciale détermine la qualité finale de la compression et des performances du modèle.
Coarse Quantizer
Premier niveau de quantification effectuant un regroupement grossier des poids dans des clusters larges. Cette étape rapide réduit l'espace de recherche pour les étapes de quantification plus fines.
Fine Quantizer
Niveau de quantification détaillé opérant sur des sous-espaces restreints pour une approximation précise des poids. Cette étape affine la représentation après le regroupement initial effectué par le coarse quantizer.
IVF avec Quantification
Combinaison de l'Inverted File Index avec des techniques de quantification pour une recherche efficace dans les modèles compressés. Cette approche hybride optimise à la fois l'indexation et la représentation compacte des poids.
PQ-Codes
Représentations binaires compactes résultant de la Product Quantification pour chaque vecteur de poids. Ces codes permettent des comparaisons rapides et un stockage efficace tout en préservant les informations essentielles.
Lattice Quantization
Méthode utilisant des structures géométriques régulières (réseaux) pour partitionner l'espace des poids de manière uniforme. Cette approche garantit des propriétés théoriques optimales pour l'erreur de quantification.