Interprétabilité des Mécanismes d'Attention

Régularisation de l'Attention (Attention Regularization)

Technique d'entraînement qui ajoute une pénalité à la fonction de perte pour encourager des schémas d'attention spécifiques, comme une plus grande diversité entre les têtes ou une plus grande parcimonie.

← Geri