KI-Glossar

📖

Begriffe

Efficient Transformers

Catégorie d'architectures de Transformers conçues pour surmonter la complexité quadratique de l'attention, en utilisant des techniques comme l'attention linéaire, creuse ou à faible rang pour traiter des séquences plus longues.

📖

Begriffe

FlashAttention

Algorithme d'attention exacte, mais plus rapide en mémoire et en temps, qui utilise des tuiles (tiling) et des recomputations pour éviter la création de la grande matrice d'attention intermédiaire en mémoire GPU.

📖

Begriffe

Nyströmformer

Modèle utilisant la méthode de Nyström pour approximer la matrice d'attention complète en échantillonnant un petit nombre de points de repère ('landmarks'), réduisant la complexité de O(n²) à O(n*m) où m << n.