Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Teacher-Student Architecture
Framework où un modèle teacher entraîne un modèle student en transférant ses connaissances implicites via des soft targets et des régularisations.
Feature Map Distillation
Méthode de transfert des connaissances au niveau des représentations intermédiaires du modèle plutôt qu'au niveau des prédictions finales.
Attention Transfer
Transfert des cartes d'attention du teacher vers le student pour préserver les régions importantes identifiées par le modèle complexe.
Relation Knowledge Distillation
Approche préservant les relations structurelles entre les échantillons d'apprentissage plutôt que les connaissances individuelles.
Self-Distillation
Processus où un modèle s'auto-améliore en transférant ses connaissances vers une version plus profonde ou plus large de lui-même.
Progressive Distillation
Méthode itérative de distillation où le student devient progressivement le teacher pour des modèles encore plus compacts.
Online Knowledge Distillation
Approche où plusieurs modèles s'entraînent mutuellement en temps réel sans nécessiter de teacher pré-entraîné.
Cross-Domain Distillation
Technique de transfert de connaissances entre modèles opérant sur des domaines différents mais partageant des structures sous-jacentes similaires.
Lifelong Learning via Distillation
Application de la distillation pour préserver les connaissances acquises lors de l'apprentissage continu et éviter l'oubli catastrophique.
Ensemble Distillation
Compression d'un ensemble de modèles en un unique modèle compact préservant la diversité des connaissances collectives.
Neural Architecture Search with Distillation
Intégration de la distillation dans le processus NAS pour guider la recherche d'architectures efficaces préservant les performances.
Contrastive Knowledge Distillation
Approche utilisant des contrastes positifs et négatifs pour transférer des représentations discriminatives du teacher vers le student.