Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Sinusoidal Positional Encoding
Méthode d'encodage positionnel utilisant des fonctions sinusoïdales de différentes fréquences pour créer des représentations de position uniques et déterministes sans apprentissage de paramètres.
Learned Positional Encoding
Approche où les embeddings de position sont appris comme paramètres entraînables du modèle, permettant une optimisation adaptative aux données d'entraînement spécifiques.
Relative Positional Encoding
Technique avancée qui encode les distances relatives entre les tokens plutôt que leurs positions absolues, améliorant la généralisation à des longueurs de séquence variables.
Absolute Positional Encoding
Méthode traditionnelle d'encodage positionnel où chaque position dans la séquence reçoit un embedding unique basé sur son index absolu dans la séquence.
Rotary Positional Encoding (RoPE)
Technique innovante qui applique une rotation matricielle aux embeddings de requête et clé, intégrant efficacement les informations de position directement dans le mécanisme d'attention.
Alibi Positional Encoding
Méthode qui pénalise les scores d'attention en fonction de la distance entre les tokens, permettant une extrapolation efficace à des longueurs de séquence plus longues sans réentraînement.
Position Embeddings
Vecteurs denses représentant la position de chaque token dans une séquence, ajoutés ou concaténés aux embeddings de tokens pour fournir des informations de localisation spatiale ou temporelle.
Attention with Positional Encoding
Intégration de l'encodage positionnel dans le mécanisme d'attention pour permettre au modèle de pondérer différemment les tokens en fonction de leurs positions relatives dans la séquence.
BERT Positional Embeddings
Implémentation spécifique d'encodage positionnel appris dans l'architecture BERT, utilisant des embeddings de position entraînables avec une longueur maximale de séquence fixe de 512 tokens.
GPT Positional Encoding
Système d'encodage positionnel utilisé dans les modèles GPT, initialement basé sur des embeddings de position appris pour modéliser efficacement les dépendances directionnelles dans le texte.
Transformer Positional Encoding
Composant essentiel de l'architecture Transformer originale utilisant des encodages sinusoïdaux pour permettre au modèle d'utiliser l'ordre des tokens sans mécanismes récurrents.
3D Positional Encoding
Extension de l'encodage positionnel aux données tridimensionnelles comme les volumes ou les vidéos, incorporant des informations de position sur trois axes spatiaux ou temporels.
Complex Positional Encoding
Variante avancée utilisant des nombres complexes pour représenter les positions, permettant une modélisation plus riche des relations spatiales et des fréquences multiples.
Hierarchical Positional Encoding
Approche structurée qui encode les positions à plusieurs niveaux de granularité, capturant à la fois les positions locales et globales dans la séquence.
T5 Positional Encoding
Implémentation spécifique dans l'architecture T5 utilisant des embeddings de position scalaires ajoutés aux embeddings de tokens, conçue pour simplifier l'architecture tout en maintenant les performances.
XLNet Relative Positional Encoding
Mécanisme sophistiqué dans XLNet qui modélise les distances relatives entre tokens dans le calcul d'attention, permettant une meilleure généralisation sur différentes longueurs de séquence.
DeBERTa Disentangled Attention
Innovation dans DeBERTa qui sépare explicitement le contenu et la position dans le mécanisme d'attention, utilisant un encodage positionnel désenchevêtré pour améliorer la représentation.
Longformer Positional Encoding
Système d'encodage positionnel adapté pour le traitement de longues séquences, combinant des embeddings de position globaux et locaux pour optimiser l'attention à fenêtre glissante.
Reformer Locality Sensitive Hashing
Technique spécialisée dans Reformer qui utilise LSH avec encodage positionnel pour réduire la complexité computationnelle de l'attention sur de très longues séquences.