Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
242
catégories
3 353
sous-catégories
40 780
termes
termes
Add & Norm Layer
Couche de normalisation résiduelle appliquée après le mécanisme d'attention, combinant la sortie de l'attention avec l'entrée d'origine (connexion résiduelle) avant de normaliser la somme.
termes
Linear Projection in Attention
Transformation linéaire (multiplication par une matrice de poids) appliquée aux embeddings d'entrée pour générer les vecteurs de Query, Key et Value, permettant au modèle d'apprendre des espaces de représentation spécifiques à l'attention.
🔍