Attention Linéaire

Attention à Faible Rang

Approximation de la matrice d'attention par décomposition en rang faible A=UVᵀ où U∈R^(n×r) et V∈R^(n×r) avec r≪n, réduisant drastiquement les besoins computationnels.

← Wstecz