Attention Linéaire et Efficace

Nyströmformer

Modèle utilisant la méthode de Nyström pour approximer la matrice d'attention complète en échantillonnant un petit nombre de points de repère ('landmarks'), réduisant la complexité de O(n²) à O(n*m) où m << n.

← Wstecz