Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Encodeur Bidirectionnel
Composant qui traite l'intégralité de la séquence d'entrée simultanément, permettant à chaque token d'attirer l'attention sur tous les autres tokens, à la fois passés et futurs, pour une compréhension contextuelle complète.
Décodeur Auto-Régressif
Mécanisme de génération où le décodeur produit la séquence de sortie token par token, en se basant uniquement sur les tokens précédemment générés et sur la représentation contextuelle de l'encodeur.
Mécanisme d'Attention Croisée
Processus dans le décodeur qui lui permet de se concentrer sur des parties spécifiques de la sortie de l'encodeur, pondérant l'importance de chaque token d'entrée pour générer le token de sortie courant.
Masquage Causal
Technique appliquée dans le décodeur pour empêcher chaque position d'attirer l'attention sur les positions futures, garantissant ainsi la nature auto-régressive de la génération et l'absence de fuite d'information.
Passe-avant (Feed-Forward Network)
Réseau neuronal entièrement connecté appliqué à chaque position de manière indépendante après le mécanisme d'attention, permettant une transformation non linéaire et une projection à plus haute dimension.
Normalisation par Couche (Layer Normalization)
Technique de régularisation qui stabilise les activations en normalisant les caractéristiques pour chaque exemple individuellement, accélérant la convergence et améliorant la performance générale du modèle.
Bottleneck d'Encodeur
Représentation vectorielle de dimension fixe, souvent la sortie finale de l'encodeur, qui condense toute l'information de la séquence d'entrée et sert de contexte unique au décodeur pour la génération.
Embeddings de Token
Vecteurs denses de haute dimension qui représentent chaque token discret du vocabulaire dans un espace continu, capturant des informations sémantiques et syntaxiques apprises durant l'entraînement.