एआई शब्दावली

📖

शब्द

Sinkhorn Transformer

Architecture utilisant l'algorithme de Sinkhorn-Knopp pour créer des matrices d'attention doublement stochastiques avec une complexité quasi-linéaire, améliorant la stabilité numérique.

📖

शब्द

Memory Compressed Attention

Méthode compressant les clés et valeurs via une opération de pooling avant le calcul d'attention, réduisant la taille de la matrice d'attention et donc la complexité computationnelle.