Architecture utilisant l'algorithme de Sinkhorn-Knopp pour créer des matrices d'attention doublement stochastiques avec une complexité quasi-linéaire, améliorant la stabilité numérique.

📖

termen

Memory Compressed Attention

Méthode compressant les clés et valeurs via une opération de pooling avant le calcul d'attention, réduisant la taille de la matrice d'attention et donc la complexité computationnelle.

🔍

AI-woordenlijst

Sinkhorn Transformer

Memory Compressed Attention

Geen resultaten gevonden