交叉注意力

Cross-Attention Regularization

Techniques de contrainte appliquées aux poids d'attention cross-attention pour encourager des propriétés désirables comme la sparsité, la diversité ou la cohérence temporelle. Améliore l'interprétabilité et la généralisation du modèle.

← 返回