AI Glossary
The complete dictionary of Artificial Intelligence
Auto-Attention Multi-Tête
Mécanisme fondamental permettant au modèle de se concentrer simultanément sur différentes positions de la séquence avec plusieurs représentations d'attention.
Encodage Positionnel
Technique permettant d'intégrer des informations sur la position des tokens dans les séquences, car les Transformers ne possèdent pas de récurrence intrinsèque.
Architecture Encoder-Decoder
Structure bidirectionnelle où l'encodeur traite la séquence d'entrée et le décodeur génère la séquence de sortie, utilisée dans les tâches de traduction.
BERT et Modèles Masked LM
Modèles pré-entraînés avec objectif de masquage de tokens, révolutionnant le NLP avec des représentations contextuelles bidirectionnelles.
GPT et Modèles Autorégressifs
Architecture basée sur le décodeur-only générant du texte token par token, prédictant le token suivant en fonction des précédents.
Vision Transformers (ViT)
Adaptation des Transformers pour les tâches de vision par ordinateur, traitant les images comme des séquences de patches.
Attention Linéaire et Efficace
Variants d'attention réduisant la complexité quadratique en complexité linéaire pour traiter des séquences plus longues efficacement.
Transformers Multimodaux
Architecture unifiée traitant simultanément plusieurs modalités (texte, image, audio) dans un même espace de représentation.
Fine-Tuning et Prompt Engineering
Techniques d'adaptation des modèles pré-entraînés à des tâches spécifiques avec peu de données d'entraînement.
Interprétabilité des Mécanismes d'Attention
Étude et visualisation des poids d'attention pour comprendre les décisions du modèle et identifier les dépendances apprises.
Transformers pour Audio
Application des architectures Transformer aux tâches de traitement audio, reconnaissance vocale et génération musicale.
Sparse Attention
Variantes d'attention ne considérant qu'un sous-ensemble des positions pour réduire la complexité computationnelle et mémorielle.