Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Modèles Causal Language Models
Architecture Transformer prédictive générant du texte token par token en conditionnant chaque prédiction sur les tokens précédents, utilisée dans les modèles comme GPT.
Modèles Masked Language Models
Approche d'auto-supervision où des tokens sont masqués dans l'entrée et le modèle doit les prédire, permettant un apprentissage bidirectionnel du contexte.
Modèles Vision-Transformer (ViT)
Adaptation de l'architecture Transformer au traitement d'images, remplaçant les convolutions par des mécanismes d'attention sur des patches d'images.
Modèles Multimodaux
Transformers capables de traiter et de générer simultanément plusieurs types de données (texte, image, audio) en utilisant des espaces d'embedding partagés.
Embeddings de Tokens
Représentations vectorielles denses des tokens d'entrée, apprises pendant le pré-entraînement et capturant des informations sémantiques et syntaxiques.
Attention Scale
Paramètre contrôlant la distribution de l'attention dans les modèles Transformer, influençant la concentration ou la dispersion du focus contextuel.
Modèles de Diffusion basés sur Transformer
Intégration de l'architecture Transformer dans le processus de débruitage itératif des modèles de diffusion, améliorant la cohérence globale de la génération.
Rétropropagation par l'Attention
Mécanisme permettant d'analyser et d'interpréter les décisions des modèles Transformer en visualisant les poids d'attention entre les tokens.
Modèles de Base (Foundation Models)
Grands modèles Transformer pré-entraînés sur des données massives, servant de point de départ pour diverses applications par fine-tuning ou prompting.