Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Encoder-Decoder Architecture
Structure fondamentale des modèles Transformers combinant un encodeur qui traite et comprend la séquence d'entrée, et un décodeur qui génère la séquence de sortie de manière auto-régressive.
Encoder Stack
Empilement de plusieurs couches d'encodeur identiques, chacune combinant multi-head attention et feed-forward network, transformant progressivement les représentations d'entrée en abstractions plus riches.
Decoder Stack
Empilement de couches de décodeur qui génèrent la séquence de sortie token par token, intégrant à la fois masked self-attention et cross-attention pour modéliser les dépendances temporelles et les relations entrée-sortie.
Transformer Block
Unité computationnelle fondamentale combinant un mécanisme d'attention multi-têtes, des connexions résiduelles, de la normalisation de couche et un réseau feed-forward, constituant la base des encodeurs et décodeurs.