AI 용어집
인공지능 완전 사전
Linformers
Architecture transformer avec complexité linéaire utilisant une projection des clés et valeurs dans une dimension réduite k << n, permettant de traiter des séquences très longues efficacement.
Performers
Modèles utilisant l'attention FAVOR+ (FAst Attention Via Positive Orthogonal Random Features) pour approximer l'attention softmax avec complexité linéaire en préservant les propriétés mathématiques.
Sinkhorn Attention
Approximation de l'attention utilisant l'algorithme de Sinkhorn-Knopp pour calculer une matrice d'attention doubly-stochastic avec complexité réduite, applicable aux très longues séquences.
Low-Rank Attention
Méthode factorisant la matrice d'attention complète en produit de matrices de rang faible, réduisant le nombre de paramètres et la complexité computationnelle de O(n²) à O(nr).
Memory-based Attention
Architecture utilisant une mémoire compressée externe de taille fixe pour stocker les informations pertinentes des tokens passés, permettant l'attention sur des séquences arbitrairement longues.
Sparse Factorized Attention
Décomposition de l'attention complète en produit de plusieurs matrices sparses (typiquement locales et globales), permettant une approximation contrôlée avec complexité quasi-linéaire.