KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
Auto-Attention
Mécanisme où chaque élément d'une séquence s'attende à tous les autres éléments de la même séquence pour capturer les dépendances internes.
Attention Multi-Tête
Extension de l'attention où plusieurs têtes d'attention parallèles apprennent différentes représentations de l'entrée simultanément.
Attention Positionnelle
Codage positionnel ajouté aux embeddings pour permettre au modèle de comprendre l'ordre séquentiel des éléments.
Attention Croisée
Mécanisme où une séquence s'attende à une autre séquence différente, utilisé dans les modèles encodeur-décodeur.
Attention par Produits Scalaires
Forme mathématique d'attention calculée par le produit scalaire normalisé des vecteurs requête et clé.
Attention Additive
Mécanisme d'attention utilisant un réseau neuronal feed-forward pour calculer les scores d'alignement (Bahdanau attention).
Attention avec Masque
Technique empêchant l'accès à certaines positions de la séquence, utilisée pour éviter les fuites d'information temporelle.
Attention Locale
Variante d'attention restreinte à un voisinage local autour de chaque position pour réduire la complexité computationnelle.
Attention Linéaire
Approximation de l'attention avec complexité linéaire en fonction de la longueur de séquence pour traiter des données massives.
Attention Hiérarchique
Structure d'attention à plusieurs niveaux capturant les dépendances à différentes échelles hiérarchiques.
Attention Sparse
Approche ne calculant l'attention que pour un sous-ensemble sélectionné de positions pour optimiser le calcul et la mémoire.
Attention Multi-Échelle
Mécanisme combinant l'attention à différentes résolutions temporelles ou spatiales pour capturer des motifs variés.