Глоссарий ИИ
Полный словарь искусственного интеллекта
Quantification Mixte
Technique d'optimisation appliquant différentes précisions de bits aux couches d'un réseau neuronal pour équilibrer performance et taille du modèle. Cette approche stratégique permet de maintenir une haute précision dans les couches critiques tout réduisant la mémoire globale.
Quantification Consciente
Méthodologie intégrant des opérations de pseudo-quantification pendant l'entraînement pour simuler l'effet de la quantification à faible précision. Cette technique permet au modèle de s'adapter aux erreurs d'arrondi avant la conversion finale.
Sensibilité des Couches
Mesure de l'impact de la quantification sur la performance de chaque couche individuelle du réseau neuronal. Les couches sensibles nécessitent une précision plus élevée pour maintenir la qualité globale du modèle.
Quantification Hétérogène
Approche de quantification assignant dynamiquement différentes largeurs de bits selon les caractéristiques computationnelles et l'importance de chaque couche. Cette stratégie optimise le compromis entre accélération matérielle et dégradation de la précision.
Profilage de Modèle
Analyse exhaustive des caractéristiques d'un modèle entraîné pour identifier les couches candidates à différentes stratégies de quantification. Le profilage évalue les distributions statistiques, les plages dynamiques et l'impact sur la précision.
Quantification Par Tenseur
Méthode appliquant un unique ensemble de paramètres de quantification à l'ensemble d'un tenseur, garantissant une cohérence d'échelle pour toutes les valeurs. Cette approche simplifie l'implémentation matérielle mais peut réduire la précision pour des distributions étendues.
Quantification Par Canal
Technique de quantification utilisant des paramètres distincts pour chaque canal ou groupe de canaux dans une couche de convolution. Cette méthode préserve mieux la précision en adaptant l'échelle aux caractéristiques spécifiques de chaque filtre.
Échelle de Quantification
Paramètre multiplicatif convertissant les valeurs en virgule flottante en entiers quantifiés selon la formule Q = round(R/S + Z). L'échelle détermine la précision et la plage de représentation des valeurs quantifiées.
Point Zéro de Quantification
Valeur entière correspondant à la valeur zéro en virgule flottante dans le système quantifié, essentielle pour préserver les zéros structurels des réseaux neuronaux. Ce paramètre permet un alignement précis entre les domaines quantifié et réel.
Bruit de Quantification
Erreur introduite lors de la conversion des nombres à haute précision vers une représentation à bits réduits, se manifestant comme une perte d'information. L'analyse du bruit de quantification guide la sélection des couches à préserver en haute précision.
Requantification
Processus de conversion entre différentes précisions de quantification au sein d'un même modèle, nécessaire lors d'opérations entre couches de bits différents. La requantification maintient la cohérence numérique tout en optimisant l'utilisation des ressources.
Stratégie de Bits Variables
Approche algorithmique déterminant la répartition optimale des largeurs de bits à travers le réseau pour minimiser la taille du modèle sous contrainte de précision. Cette stratégie résout un problème d'optimisation combinatoire complexe.
Quantification Hiérarchique
Méthode organisant les couches en hiérarchies basées sur leur importance et leur sensibilité à la quantification. La quantification hiérarchique applique des politiques de bits différentes selon le niveau hiérarchique de chaque groupe de couches.