Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Distillation Temperature
Paramètre hyperthermique appliqué dans la fonction softmax pour contrôler l'adoucissement des probabilités du modèle teacher, permettant au student d'apprendre des relations entre classes au-delà des prédictions les plus probables.
Layer-wise Distillation
Technique de distillation où les représentations intermédiaires de chaque couche du teacher sont transférées aux couches correspondantes du student, assurant un apprentissage progressif des caractéristiques à tous les niveaux d'abstraction.
Contrastive Distillation
Technique utilisant des paires de contrastes pour améliorer la qualité de la distillation, où le student apprend simultanément à imiter le teacher et à se différencier des échantillons négatifs.
Cross-architecture Distillation
Méthode de transfert de connaissances entre modèles d'architectures différentes, comme distiller un transformer vers une architecture CNN ou RNN, permettant une flexibilité dans le déploiement cible.
Knowledge Pruning
Processus combiné d'élagage de paramètres et de distillation où les poids les moins importants sont supprimés du modèle, puis la distillation compense la perte de performance résultant de l'élagage.
Dynamic Distillation
Approche adaptative où la force de la distillation et le choix des cibles sont ajustés dynamiquement pendant l'entraînement selon la progression du student et la difficulté des échantillons.
Zero-shot Distillation
Technique permettant de distiller un modèle teacher sans données d'entraînement explicitement étiquetées, en utilisant des connaissances implicites ou des données synthétiques générées par le teacher.
Relation-aware Distillation
Méthode avancée où le student apprend non seulement les prédictions individuelles du teacher mais aussi les relations structurelles entre différentes parties des données, capturant des dépendances complexes.
Compression-aware Distillation
Stratégie intégrant les contraintes matérielles de compression (quantification, sparsification) directement dans le processus de distillation pour optimiser les performances post-compression du modèle final.