AI Glossary
The complete dictionary of Artificial Intelligence
Mécanisme d'Attention
Concept fondamental permettant aux modèles de pondérer dynamiquement l'importance des différentes parties d'une séquence.
Architecture Transformer
Structure neuronale révolutionnaire basée exclusivement sur des mécanismes d'attention sans réseaux récurrents.
Attention Multi-Tête
Extension du mécanisme d'attention permettant de focaliser simultanément sur différentes positions avec différentes représentations.
Positional Encoding
Technique d'encodage des informations de position dans les séquences pour compenser l'absence de récurrence.
BERT
Modèle Transformer bidirectionnel pré-entraîné pour la compréhension du langage naturel.
GPT
Série de modèles Transformer autoregressifs optimisés pour la génération de texte et le transfert d'apprentissage.
Vision Transformers
Adaptation de l'architecture Transformer pour les tâches de vision par ordinateur en traitant les images comme des séquences.
Attention Scaled Dot-Product
Implémentation mathématique efficace du mécanisme d'attention avec normalisation par la racine carrée de la dimension.
Transformers Hiérarchiques
Architectures Transformer multi-échelles pour traiter des données structurées avec des relations hiérarchiques.
Transformers Efficaces
Variantes optimisées des Transformers réduisant la complexité computationnelle de quadratique à linéaire.
Transformers Audio
Application des architectures Transformer au traitement du signal audio pour la reconnaissance vocale et la génération musicale.
Transformers Multimodaux
Modèles Transformer intégrant simultanément plusieurs modalités comme texte, image, audio et vidéo.
Self-Attention
Mécanisme permettant à chaque élément d'une séquence d'interagir avec tous les autres éléments de la même séquence.
Cross-Attention
Mécanisme d'attention entre deux séquences différentes, fondamental pour les tâches de traduction et multimodales.
Sparse Attention
Variantes d'attention calculant sélectivement les poids pour réduire la complexité computationnelle.