Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Concatenation and Linear Projection
Étape finale de la multi-head attention où les sorties de toutes les têtes sont concaténées puis projetées linéairement pour retrouver la dimension du modèle, fusionnant ainsi les informations de différents sous-espaces.
Causal Attention (Masked Self-Attention)
Type de self-attention utilisé dans les décodeurs où une attention masquée est appliquée pour empêcher un token de s'attarder sur des tokens futurs, garantissant la nature auto-régressive du modèle.
Head Dimension (d_k)
Dimension des vecteurs de clé et de valeur dans chaque tête d'attention, calculée en divisant la dimension du modèle par le nombre de têtes, influençant la capacité de représentation de chaque tête.
Linearized Attention
Famille de mécanismes d'attention qui réécrivent le calcul de l'attention pour éviter la matérialisation de la matrice d'attention complète, permettant une complexité linéaire par rapport à la longueur de la séquence.