Thuật ngữ AI
Từ điển đầy đủ về Trí tuệ nhân tạo
162
danh mục
2.032
danh mục con
23.060
thuật ngữ
thuật ngữ
Efficient Transformers
Catégorie d'architectures de Transformers conçues pour surmonter la complexité quadratique de l'attention, en utilisant des techniques comme l'attention linéaire, creuse ou à faible rang pour traiter des séquences plus longues.
thuật ngữ
FlashAttention
Algorithme d'attention exacte, mais plus rapide en mémoire et en temps, qui utilise des tuiles (tiling) et des recomputations pour éviter la création de la grande matrice d'attention intermédiaire en mémoire GPU.
thuật ngữ
Nyströmformer
Modèle utilisant la méthode de Nyström pour approximer la matrice d'attention complète en échantillonnant un petit nombre de points de repère ('landmarks'), réduisant la complexité de O(n²) à O(n*m) où m << n.
🔍