AI-ordlista
Den kompletta ordlistan över AI
162
kategorier
2 032
underkategorier
23 060
termer
termer
Efficient Transformers
Catégorie d'architectures de Transformers conçues pour surmonter la complexité quadratique de l'attention, en utilisant des techniques comme l'attention linéaire, creuse ou à faible rang pour traiter des séquences plus longues.
termer
FlashAttention
Algorithme d'attention exacte, mais plus rapide en mémoire et en temps, qui utilise des tuiles (tiling) et des recomputations pour éviter la création de la grande matrice d'attention intermédiaire en mémoire GPU.
termer
Nyströmformer
Modèle utilisant la méthode de Nyström pour approximer la matrice d'attention complète en échantillonnant un petit nombre de points de repère ('landmarks'), réduisant la complexité de O(n²) à O(n*m) où m << n.
🔍