Interprétabilité des Mécanismes d'Attention

Attention Rétroactive (Rollback Attention)

Analyse qui consiste à modifier manuellement les poids d'attention observés (par exemple, en mettant certains à zéro) pour observer l'effet sur la sortie du modèle, testant ainsi la causalité des dépendances apprises.

← Indietro