Régularisation de Paramètres

HAT (Hard Attention to the Task)

Méthode qui apprend des masques d'attention binaires par tâche pour sélectionner les poids actifs du réseau, créant ainsi des chemins dédiés pour chaque tâche. HAT utilise une régularisation pour encourager l'utilisation de différents sous-ensembles de poids pour différentes tâches.

← Retour