Sparse Attention

Clustering-based Attention

Méthode groupant d'abord les tokens en clusters similaires puis appliquant l'attention au niveau des clusters, réduisant le nombre de calculs requis.

← Retour