Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Hard Attention to the Task (HAT)
Technique utilisant des masques d'attention binaires appris pour sélectionner des sous-réseaux dédiés à chaque tâche, garantissant l'isolation complète des paramètres entre différentes tâches séquentielles.
SupSup
Méthode d'apprentissage continu superposant des masques de poids au-dessus d'un réseau neuronal partagé, permettant l'ajout de nouvelles tâches sans modifier les poids précédemment appris.
Network Gating
Mécanisme contrôlant l'activation de différentes parties du réseau neuronal en fonction de la tâche courante, utilisant des portes apprenables pour isoler les paramètres spécifiques à chaque tâche.
Task-specific Subnetworks
Sous-réseaux spécialisés identifiés ou créés au sein d'un réseau principal, chacun étant optimisé pour une tâche particulière tout en restant fonctionnellement indépendant des autres sous-réseaux.
Binary Mask Learning
Processus d'apprentissage de masques binaires qui déterminent quels paramètres du réseau sont actifs pour une tâche donnée, assurant une séparation stricte entre les ensembles de paramètres de différentes tâches.
Progressive Network Expansion
Stratégie où le réseau s'étend progressivement avec de nouvelles unités ou couches dédiées à chaque nouvelle tâche, tout en maintenant les paramètres existants inchangés pour préserver les connaissances antérieures.
Neural Network Pruning for Continual Learning
Application sélective du pruning neuronal pour libérer des paramètres dans un réseau existant, créant ainsi de l'espace pour l'apprentissage de nouvelles tâches sans perturber les performances des tâches précédentes.
Isolated Parameter Allocation
Processus systématique d'assignation de paramètres neuronaux à des tâches spécifiques de manière à garantir qu'aucun paramètre partagé ne puisse être modifié lors de l'apprentissage de nouvelles tâches.
Subnetwork Discovery
Technique automatique identifiant des sous-réseaux optimaux au sein d'une architecture plus large, chacun étant spécialisé pour une tâche particulière tout en maintenant l'intégrité fonctionnelle du système global.
Mask-based Continual Learning
Paradigme d'apprentissage continu utilisant des masques paramétriques pour segmenter l'espace des poids du réseau en régions dédiées à différentes tâches, éliminant ainsi le besoin de réplication de paramètres.
Fixed Backbone Networks
Architecture où les couches fondamentales du réseau restent figées après apprentissage initial, avec uniquement des têtes de classification ou sous-réseaux spécialisés ajoutés pour de nouvelles tâches.
Adaptive Parameter Selection
Mécanisme intelligent sélectionnant dynamiquement les paramètres à utiliser ou à modifier lors de l'apprentissage d'une nouvelle tâche, basé sur leur pertinence et leur historique d'utilisation.
Continual Learning with Parameter Isolation
Cadre théorique de l'apprentissage continu basé sur le principe d'isolation stricte des paramètres entre tâches, contrastant avec les approches basées sur la régularisation ou la rehearsal.
Task-aware Parameter Routing
Système de routage intelligent dirigeant les informations à travers des paramètres spécifiques en fonction de l'identité de la tâche, assurant une isolation fonctionnelle tout en optimisant l'utilisation des ressources.