Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Progressive Networks
Architecture de réseaux de neurones qui ajoute de nouvelles colonnes pour chaque nouvelle tâche tout en préservant les connaissances des tâches précédentes. Cette approche permet un apprentissage continu sans oublier catastrophique.
Lateral Connections
Connexions latérales qui lient les colonnes de tâches précédentes aux nouvelles colonnes dans l'architecture Progressive Networks. Elles permettent le transfert de connaissances et le réutilisation des caractéristiques apprises.
Column-wise Architecture
Structure organisationnelle où chaque tâche possède sa propre colonne neuronale distincte mais interconnectée. Cette architecture facilite l'expansion du modèle pour de nouvelles tâches sans perturber les connaissances existantes.
Forward Transfer
Phénomène où les connaissances acquises lors de tâches précédentes améliorent les performances sur de nouvelles tâches. Ce transfert positif est optimisé par les connexions latérales dans les Progressive Networks.
Backward Transfer
Capacité d'un modèle à améliorer rétroactivement les performances sur les tâches précédentes après apprentissage de nouvelles tâches. Les Progressive Networks facilitent ce transfert bidirectionnel de connaissances.
Knowledge Preservation
Mécanisme garantissant que les connaissances acquises lors des tâches précédentes ne sont pas dégradées lors de l'apprentissage de nouvelles tâches. Cette préservation est fondamentale dans l'apprentissage continu.
Task-specific Adapters
Modules spécialisés insérés dans l'architecture pour adapter les caractéristiques générales aux exigences spécifiques de chaque tâche. Ces adaptateurs permettent une flexibilité optimale tout en préservant les connaissances partagées.
Capacity Expansion
Stratégie d'augmentation dynamique de la capacité du modèle en ajoutant de nouvelles colonnes neuronales pour accommoder de nouvelles tâches. Cette expansion contrôlée évite la saturation des ressources.
Neural Plasticity
Capacité des réseaux de neurones à s'adapter et à modifier leurs connexions en réponse à de nouvelles informations. Dans les Progressive Networks, cette plasticité est contrôlée pour préserver les connaissances existantes.
Synaptic Intelligence
Méthode d'apprentissage continu qui identifie et protège les connexions synaptiques importantes pour les tâches précédentes. Cette intelligence synaptique est intégrée dans les mécanismes de préservation des connaissances.
Elastic Weight Consolidation
Technique de régularisation qui pénalise les modifications importantes des poids synaptiques cruciaux pour les tâches précédentes. Cette approche élastique permet un compromis entre apprentissage et préservation.
Memory Aware Synapses
Approche qui évalue l'importance de chaque synapse basée sur sa contribution aux tâches passées pour guider l'apprentissage futur. Cette conscience mnémonique optimise le transfert de connaissances.
Gradient Episodic Memory
Mécanisme de stockage et de récupération d'exemples des tâches précédentes pour contrer l'oubli catastrophique. Cette mémoire épisodique guide les gradients lors de l'apprentissage de nouvelles tâches.
Dynamic Architecture Expansion
Processus d'ajout automatique de nouvelles ressources neuronales lorsque le modèle atteint sa capacité maximale. Cette expansion dynamique est essentielle pour les systèmes d'apprentissage continu.
Multi-task Representation
Espace de caractéristiques partagé capturant les informations communes à plusieurs tâches simultanément. Ces représentations multi-tâches sont optimisées dans l'architecture des Progressive Networks.