Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Mécanisme d'Attention
Fondement mathématique permettant aux modèles de pondérer l'importance relative des éléments dans une séquence de données.
Self-Attention
Mécanisme où chaque élément d'une séquence calcule son attention par rapport à tous les autres éléments de la même séquence.
Multi-Head Attention
Extension de l'attention utilisant plusieurs têtes d'attention en parallèle pour capturer différents types de relations.
Positional Encoding
Technique d'incorporation de la position séquentielle des éléments dans les embeddings sans utiliser de RNN.
Architecture Encoder-Decoder
Structure fondamentale des Transformers séparant le traitement d'entrée (encodeur) et la génération de sortie (décodeur).
Attention Scaling
Normalisation par racine carrée de la dimensionnalité pour stabiliser l'entraînement et éviter les gradients explosifs.
Cross-Attention
Mécanisme d'attention entre deux séquences différentes, utilisé dans les tâches de traduction et multimodales.
Sparse Attention
Variante d'attention calculée uniquement sur un sous-ensemble de positions pour réduire la complexité computationnelle.
Attention Masks
Mécanismes de contrôle permettant de masquer certaines positions pendant le calcul d'attention pour éviter les fuites d'information.
Vision Transformers
Adaptation de l'architecture Transformer aux tâches de vision par ordinateur en traitant les images comme des séquences de patches.
Efficient Attention
Ensemble d'optimisations visant à réduire la complexité quadratique de l'attention standard pour des séquences plus longues.
Hierarchical Attention
Structure d'attention multi-niveaux capturant des relations à différentes échelles hiérarchiques dans les données.