Sparse Attention

Sparse Factorized Attention

Décomposition de l'attention complète en produit de plusieurs matrices sparses (typiquement locales et globales), permettant une approximation contrôlée avec complexité quasi-linéaire.

← Terug