Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
ALiBi (Attention with Linear Biases)
Méthode alternative à l'encodage positionnel traditionnel qui ajoute des biais linéaires aux scores d'attention en fonction de la distance entre les positions, permettant une meilleure extrapolation à des séquences plus longues.
Positional Bias
Terme additif ou multiplicatif appliqué aux scores d'attention pour tenir compte des relations de position entre les tokens dans les mécanismes d'attention.
Sequence Position Embedding
Représentation vectorielle qui encode explicitement la position de chaque élément dans une séquence, permettant au modèle de comprendre l'ordre séquentiel des données.
Temporal Encoding
Variante d'encodage positionnel spécifiquement conçue pour capturer les dépendances temporelles dans les données séquentielles temporelles, intégrant des notions de temps et de durée.
Continuous Positional Encoding
Méthode d'encodage qui permet des représentations positionnelles continues, pouvant interpoler entre des positions discrètes et gérer des positions fractionnaires.
Fixed Positional Encoding
Type d'encodage positionnel où les embeddings sont prédéterminés et ne sont pas modifiés pendant l'entraînement, basé sur des formules mathématiques fixes comme les fonctions sinusoïdales.
Adaptive Positional Encoding
Approche d'encodage positionnel qui s'adapte dynamiquement à la longueur de la séquence d'entrée, permettant une meilleure généralisation à des longueurs de séquence variables.
Positional Interpolation
Technique pour adapter les modèles pré-entraînés à des séquences plus longues en interpolant linéairement les embeddings positionnels existants plutôt que d'en extrapoler de nouveaux.
NTK-Aware Positional Interpolation
Variante améliorée de l'interpolation positionnelle qui maintient les propriétés de la transformée de Fourier non-uniforme (NTK) pour une meilleure préservation des informations à haute fréquence.
xPOS (Scaling Positional Encoding)
Méthode d'encodage positionnel qui utilise une mise à l'échelle exponentielle pour mieux capturer les dépendances à longue distance tout en préservant les informations de position locales.
T5's Relative Position Bias
Implémentation spécifique de biais de position relative utilisée dans le modèle T5, où les biais sont appris pour différentes distances relatives entre les tokens dans les scores d'attention.
Transformer-XL Positional Encoding
Mécanisme d'encodage positionnel récurrent qui permet de modéliser des dépendances à longue distance en réutilisant les états cachés des segments précédents avec un encodage positionnel relatif.