Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Mixed Precision Computing
Technique de calcul utilisant simultanément plusieurs formats numériques de précision variable (FP64, FP32, FP16, INT8) pour optimiser l'équilibre entre performance mémoire, débit de calcul et précision des résultats dans les applications d'IA.
FP16 (Half-Precision Floating Point)
Format de représentation numérique sur 16 bits comprenant 1 bit de signe, 5 bits d'exposant et 10 bits de mantisse, utilisé pour accélérer les calculs et réduire l'empreinte mémoire au prix d'une précision réduite.
FP32 (Single-Precision Floating Point)
Format de représentation numérique standard sur 32 bits avec 1 bit de signe, 8 bits d'exposant et 23 bits de mantisse, constituant la référence de précision pour l'entraînement de la plupart des modèles d'IA.
INT8 (8-bit Integer)
Format de quantification sur 8 bits représentant des nombres entiers signés, principalement utilisé pour l'inférence afin de maximiser le débit de calcul et minimiser la consommation énergétique des accélérateurs matériels.
Tensor Cores
Unités de calcul spécialisées intégrées dans les GPU modernes (NVIDIA) conçues pour exécuter des opérations de multiplication-accumulation matricielle en mixed precision (FP16/FP32) de manière hautement parallèle.
Dynamic Loss Scaling
Variante adaptative du loss scaling où le facteur d'échelle est ajusté dynamiquement pendant l'entraînement, augmentant en cas de stabilité et réduisant en cas d'overflow pour optimiser la convergence.
Master Weights
Copie des poids du modèle maintenue en FP32 (ou FP64) pendant l'entraînement en mixed precision, servant de référence de précision pour les mises à jour de poids tandis que les calculs forward/backward s'effectuent en FP16.
Automatic Mixed Precision (AMP)
Fonctionnalité des frameworks d'IA (PyTorch, TensorFlow) qui sélectionne automatiquement les opérations à exécuter en FP16 ou FP32, gère la conversion des types et applique le loss scaling de manière transparente.
Vector Processing Units (VPU)
Accélérateurs matériels spécialisés optimisés pour les calculs en précision entière (INT8) et faible précision, conçus pour l'inférence efficace de réseaux de neurones sur des appareils edge.
Sparsity Acceleration
Technique combinée à la mixed precision exploitant les zéros dans les tenseurs pour sauter les calculs inutiles, réduisant la bande passante mémoire et augmentant le débit effectif des opérations matricielles.
Numerical Stability Analysis
Évaluation systématique de l'impact de la réduction de précision sur la convergence et la précision finale d'un modèle, identifiant les couches sensibles nécessitant un maintien en FP32 dans une stratégie mixed precision.
FP8 (8-bit Floating Point)
Format émergent de représentation sur 8 bits avec différentes variantes (E4M3, E5M2) optimisées pour l'entraînement et l'inférence, offrant un compromis extrême entre débit et précision pour les très grands modèles.
Gradient Accumulation in Mixed Precision
Technique où les gradients calculés en FP16 sont accumulés dans un buffer FP32 avant la mise à jour des poids, prévenant la perte de précision lors de l'agrégation sur plusieurs mini-batchs.
Precision-Aware Pruning
Méthode d'élagage de réseau qui considère la sensibilité de chaque couche à la réduction de précision, appliquant un élagage plus agressif sur les couches robustes en basse précision pour maximiser l'accélération.