Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Learning without Forgetting (LwF)
Approche qui utilise la distillation de connaissances pour préserver les réponses du modèle sur les anciennes données tout en apprenant une nouvelle tâche. Le modèle original sert d'enseignant pour guider le modèle mis à jour, évitant ainsi la dégradation des performances sur les tâches précédentes.
Orthogonal Gradient Descent (OGD)
Méthode qui projette le gradient de la nouvelle tâche sur l'espace orthogonal aux sous-espaces de gradients des tâches précédentes. Cette projection garantit que l'apprentissage de nouvelles tâches n'interfère pas avec les directions importantes pour les performances passées.
Dynamical Expandable Networks (DEN)
Framework qui étend dynamiquement le réseau en ajoutant de nouvelles unités et connexions lorsque nécessaire, tout en sélectivement réactivant ou désactivant les connexions existantes. DEN adapte la capacité du modèle aux nouvelles exigences sans dégrader les performances précédentes.
PackNet
Technique de régularisation qui assigne des sous-réseaux de neurones spécifiques à chaque tâche via des masques binaires fixes et des contraintes de parcimonie. PackNet permet l'empilement de multiples tâches dans un même réseau sans interférence en compartimentant les ressources.
HAT (Hard Attention to the Task)
Méthode qui apprend des masques d'attention binaires par tâche pour sélectionner les poids actifs du réseau, créant ainsi des chemins dédiés pour chaque tâche. HAT utilise une régularisation pour encourager l'utilisation de différents sous-ensembles de poids pour différentes tâches.
CWR (Copy Weight with Reinit)
Stratégie qui duplique les poids du modèle après l'apprentissage de chaque tâche et réinitialise sélectivement certains poids pour l'apprentissage de la nouvelle tâche. CWR maintient une copie des poids importants tout en permettant l'adaptation pour de nouvelles connaissances.
PathNet
Architecture évolutionnaire où des chemins de neurones sont sélectionnés et optimisés pour chaque tâche spécifique, utilisant des algorithmes génétiques pour trouver les meilleures combinaisons. PathNet permet la réutilisation de modules tout en isolant les paramètres par tâche.
Sup-Sup (Superposition of Superpositions)
Technique qui combine la superposition de poids (superposition) avec la superposition de tâches (multi-tâche) pour maximiser l'utilisation des paramètres du réseau. Sup-Sup permet à un réseau compact de stocker et d'exécuter simultanément de multiples tâches sans oubli.