AI 용어집
인공지능 완전 사전
162
카테고리
2,032
하위 카테고리
23,060
용어
용어
Efficient Transformers
Catégorie d'architectures de Transformers conçues pour surmonter la complexité quadratique de l'attention, en utilisant des techniques comme l'attention linéaire, creuse ou à faible rang pour traiter des séquences plus longues.
용어
FlashAttention
Algorithme d'attention exacte, mais plus rapide en mémoire et en temps, qui utilise des tuiles (tiling) et des recomputations pour éviter la création de la grande matrice d'attention intermédiaire en mémoire GPU.
용어
Nyströmformer
Modèle utilisant la méthode de Nyström pour approximer la matrice d'attention complète en échantillonnant un petit nombre de points de repère ('landmarks'), réduisant la complexité de O(n²) à O(n*m) où m << n.
🔍