Sparse Attention

Kernel-based Attention

Approche utilisant des noyaux pour approximer l'attention softmax, permettant des calculs en complexité linéaire via des techniques comme FAVOR+ (Fast Attention Via Positive Orthogonal Random Features).

← Retour