Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Perte de Trace LASSO Multi-Tâches
Extension de la régularisation LASSO au contexte multi-tâches qui pénalise la norme L2,1 de la matrice de poids, favorisant ainsi la sélection de caractéristiques communes à toutes les tâches.
Bloc Norme L2,1
Norme de régularisation qui calcule la norme L2 pour chaque ligne de la matrice de poids (caractéristique) puis la norme L1 sur l'ensemble des résultats, encourageant la sparsité au niveau des caractéristiques partagées.
Régularisation par Noyau Multi-Tâches
Approche qui étend les méthodes à noyau au cadre multi-tâches en définissant des noyaux de covariance entre les tâches, permettant d'apprendre simultanément les paramètres du modèle et les relations inter-tâches.
Facteur de Tâche
Paramètre de régularisation qui contrôle l'influence relative de chaque tâche dans l'objectif d'apprentissage multi-tâches, permettant d'équilibrer la contribution des différentes tâches à la fonction de perte globale.
Orthogonalité Multi-Tâches
Contrainte de régularisation qui force les représentations spécifiques à chaque tâche à être orthogonales entre elles, minimisant ainsi les interférences négatives tout en préservant les connaissances partagées.
Pénalité de Groupement Multi-Tâches
Technique de régularisation qui groupe les paramètres du modèle selon leur pertinence pour les tâches, appliquant des niveaux de pénalisation différents pour encourager le partage sélectif de représentations.
Régularisation par Décomposition en Valeurs Singulières
Méthode qui applique une contrainte de rang faible sur la matrice de poids partagés entre les tâches via une décomposition SVD, réduisant la complexité du modèle tout en capturant les relations inter-tâches essentielles.
Dropout Multi-Tâches
Variante du dropout adaptée au contexte multi-tâches où les neurones sont désactivés de manière coordonnée à travers les branches spécifiques aux tâches, préservant ainsi les connexions partagées importantes.
Régularisation par Adversaire Multi-Tâches
Approche qui utilise un réseau adversaire pour régulariser les représentations partagées, s'assurant qu'elles contiennent suffisamment d'information pour toutes les tâches sans être biaisées vers une tâche particulière.
Perte de Mangan
Fonction de perte multi-tâches qui combine les pertes individuelles de manière non linéaire en utilisant des poids appris dynamiquement, régularisant automatiquement l'importance de chaque tâche pendant l'entraînement.
Régularisation par Contraste Multi-Tâches
Technique qui maximise la similarité entre représentations de la même tâche tout en minimisant la similarité entre représentations de tâches différentes, régularisant ainsi l'espace des caractéristiques partagées.
Pénalité de Fusion de Tâches
Mécanisme de régularisation qui pénalise la divergence entre les paramètres des modèles spécifiques aux tâches, encourageant une fusion progressive des connaissances lorsque les tâches sont similaires.
Régularisation par Gradient Multi-Tâches
Méthode qui régularise les gradients de perte entre les tâches pour minimiser les conflits, s'assurant que la mise à jour des paramètres partagés bénéficie simultanément à toutes les tâches considérées.
Perte de Huber Multi-Tâches
Extension robuste de la perte de Huber au cadre multi-tâches qui combine les pertes quadratiques et absolues de manière adaptative pour chaque tâche, régularisant ainsi l'influence des valeurs aberrantes.
Régularisation par Attention Multi-Tâches
Technique qui utilise des mécanismes d'attention pour régulariser le partage de représentations entre les tâches, apprenant dynamiquement quelles caractéristiques spécialiser ou partager selon le contexte.
Pénalité de Cohérence Multi-Tâches
Contrainte de régularisation qui impose une cohérence dans les prédictions du modèle sur des entrées similaires mais étiquetées différemment selon les tâches, améliorant la généralisation inter-tâches.
Régularisation par Distillation Multi-Tâches
Méthode qui régularise un modèle multi-tâches en le forçant à imiter les sorties d'un ensemble de modèles experts mono-tâches, préservant ainsi les connaissances spécialisées tout en bénéficiant du partage.