Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Mécanisme d'Attention
Algorithme permettant aux modèles de pondérer l'importance de différents éléments dans une séquence.
Self-Attention Multi-Têtes
Extension du mécanisme d'attention permettant de capturer différentes relations en parallèle.
Positional Encoding
Technique pour injecter des informations de position dans les modèles sans récurrent.
Architecture Encodeur-Décodeur
Structure fondamentale des transformers avec deux composants pour traiter les séquences.
BERT et ses Variantes
Famille de modèles pré-entraînés bidirectionnels pour la compréhension du langage.
GPT et Modèles Génératifs
Transformers auto-régressifs optimisés pour la génération de texte.
Fine-Tuning et Adaptation de Domaine
Processus d'adaptation des modèles pré-entraînés à des tâches ou domaines spécifiques.
Tokenization Subword
Techniques de segmentation du texte en unités significatives pour les transformers.
Vision Transformers
Application de l'architecture transformer aux tâches de traitement d'images.
Transformers pour Longues Séquences
Architectures optimisées pour gérer des séquences dépassant les limites standards.
Distillation de Modèles
Compression de gros transformers en modèles plus petits et efficaces.
Prompt Engineering et In-Context Learning
Techniques d'interaction avec les grands modèles sans fine-tuning explicite.
Transformers Multimodaux
Architectures combinant texte, images et autres modalités dans un unifié.
Optimisation et Scalabilité
Techniques pour entraîner efficacement des transformers à grande échelle.
Benchmarks et Évaluation
Métriques et datasets standards pour évaluer les performances des transformers.