AI-woordenlijst
Het complete woordenboek van kunstmatige intelligentie
162
categorieën
2.032
subcategorieën
23.060
termen
termen
Efficient Transformers
Catégorie d'architectures de Transformers conçues pour surmonter la complexité quadratique de l'attention, en utilisant des techniques comme l'attention linéaire, creuse ou à faible rang pour traiter des séquences plus longues.
termen
FlashAttention
Algorithme d'attention exacte, mais plus rapide en mémoire et en temps, qui utilise des tuiles (tiling) et des recomputations pour éviter la création de la grande matrice d'attention intermédiaire en mémoire GPU.
termen
Nyströmformer
Modèle utilisant la méthode de Nyström pour approximer la matrice d'attention complète en échantillonnant un petit nombre de points de repère ('landmarks'), réduisant la complexité de O(n²) à O(n*m) où m << n.
🔍