Sparse Attention Mechanisms

Block Sparse Attention

Approche d'attention creuse organisée en blocs, où la matrice d'attention est divisée en blocs et seuls certains blocs sont calculés pour optimiser le parallélisme matériel.

← Retour