Sparse Attention

Linformer

Architecture projetant la matrice clé-valeur dans un espace de dimension inférieure, transformant la complexité de O(n²) à O(n*k) où k << n.

← Retour