Słownik AI
Kompletny słownik sztucznej inteligencji
Score d'Alignement
Valeur numérique calculée par le mécanisme d'attention additive qui mesure la pertinence de chaque état caché de l'encodeur pour prédire le mot courant à l'étape de décodage.
Réseau Feed-Forward d'Alignement
Réseau neuronal à une couche cachée avec activation tanh utilisé dans l'attention additive pour transformer la concaténation des vecteurs d'état avant calcul du score d'alignement.
Vecteur de Contexte
Somme pondérée des états cachés de l'encodeur, où les poids sont les scores d'attention normalisés, fournissant au décodeur une représentation contextualisée de la séquence d'entrée.
Pondération d'Attention
Coefficients obtenus après application de la fonction softmax sur les scores d'alignement, indiquant l'importance relative de chaque position de la séquence source.
État Caché Bi-directionnel
Représentation vectorielle combinant les informations passées et futures à chaque position de la séquence, utilisée comme entrée dans le mécanisme d'attention additive.
Concaténation de Vecteurs
Opération consistant à joindre le vecteur d'état caché du décodeur avec chaque état caché de l'encodeur avant de les passer au réseau feed-forward d'alignement.
Matrice de Poids d'Attention
Structure bidimensionnelle stockant les poids d'attention calculés entre chaque position de la séquence cible et toutes les positions de la séquence source.
Mécanisme d'Attention Différé
Variante de l'attention additive où les scores sont calculés après avoir généré l'état caché complet du décodeur à chaque étape de temps.
Paramètres d'Attention
Poids et biais apprenables du réseau feed-forward dans l'attention additive, optimisés pendant l'entraînement pour calculer efficacement les scores d'alignement.
Alignement Souple
Capacité du mécanisme d'attention additive à distribuer l'attention sur plusieurs positions de la séquence source, contrairement à un alignement dur vers une seule position.
Contexte Dynamique
Vecteur de contexte recalculé à chaque étape de décodage, s'adaptant dynamiquement aux besoins spécifiques de prédiction du mot courant.
Fonction d'Activation Tanh
Fonction non-linéaire appliquée dans la couche cachée du réseau d'alignement de l'attention additive, bornant les valeurs entre -1 et 1.