AI Glossary
The complete dictionary of Artificial Intelligence
Attention Mechanism
Algorithm that allows models to weigh the importance of different elements in a sequence.
Self-Attention Multi-Têtes
Extension du mécanisme d'attention permettant de capturer différentes relations en parallèle.
Positional Encoding
Technique pour injecter des informations de position dans les modèles sans récurrent.
Encoder-Decoder Architecture
Fundamental structure of transformers with two components to process sequences.
BERT et ses Variantes
Famille de modèles pré-entraînés bidirectionnels pour la compréhension du langage.
GPT et Modèles Génératifs
Transformers auto-régressifs optimisés pour la génération de texte.
Fine-Tuning et Adaptation de Domaine
Processus d'adaptation des modèles pré-entraînés à des tâches ou domaines spécifiques.
Tokenization Subword
Techniques de segmentation du texte en unités significatives pour les transformers.
Vision Transformers
Application de l'architecture transformer aux tâches de traitement d'images.
Transformers pour Longues Séquences
Architectures optimisées pour gérer des séquences dépassant les limites standards.
Distillation de Modèles
Compression de gros transformers en modèles plus petits et efficaces.
Prompt Engineering et In-Context Learning
Techniques d'interaction avec les grands modèles sans fine-tuning explicite.
Transformers Multimodaux
Architectures combinant texte, images et autres modalités dans un unifié.
Optimisation et Scalabilité
Techniques pour entraîner efficacement des transformers à grande échelle.
Benchmarks et Évaluation
Métriques et datasets standards pour évaluer les performances des transformers.