Architecture utilisant l'algorithme de Sinkhorn-Knopp pour créer des matrices d'attention doublement stochastiques avec une complexité quasi-linéaire, améliorant la stabilité numérique.

📖

termini

Memory Compressed Attention

Méthode compressant les clés et valeurs via une opération de pooling avant le calcul d'attention, réduisant la taille de la matrice d'attention et donc la complexité computationnelle.

🔍

Glossario IA

Sinkhorn Transformer

Memory Compressed Attention

Nessun risultato trovato