AI Glossary
The complete dictionary of Artificial Intelligence
Sinusoidal Positional Encoding
Méthode d'encodage positionnel utilisant des fonctions sinus et cosinus de différentes fréquences pour créer des représentations de position uniques, permettant au modèle d'extrapoler à des longueurs de séquence plus longues jamais vues lors de l'entraînement.
Absolute Positional Encoding
Méthode traditionnelle où chaque position dans la séquence reçoit un encodage unique et fixe basé sur sa position absolue, sans tenir compte des relations spatiales entre les éléments de la séquence.
Rotary Positional Encoding
Technique RoPE qui applique une rotation matricielle aux embeddings de requêtes et clés basée sur leurs positions absolues, intégrant naturellement l'information de position dans le calcul d'attention tout en préservant les propriétés d'invariance translationnelle.
Alibi Positional Encoding
Méthode qui pénalise les scores d'attention basés sur la distance entre les tokens en ajoutant des biais statiques à la matrice d'attention, permettant une meilleure extrapolation à des séquences plus longues sans modifications architecturales complexes.
Complex Positional Encoding
Approche utilisant des nombres complexes pour représenter les positions, où la rotation dans le plan complexe encode l'information de position, offrant une représentation plus expressive et efficace pour les séquences longues.
Position Embeddings
Vecteurs denses représentant la position de chaque token dans une séquence, généralement de même dimension que les embeddings de mots et additionnés à ces derniers avant d'être passés au mécanisme d'attention.
Fixed Positional Encoding
Type d'encodage positionnel où les représentations de position sont prédéterminées et ne changent pas pendant l'entraînement, typiquement basées sur des fonctions mathématiques comme les sinus/cosinus ou des transformations de Fourier.
Bidirectional Positional Encoding
Technique utilisant des encodages distincts pour les directions gauche-droite et droite-gauche, permettant au modèle de capturer simultanément les informations contextuelles dans les deux sens comme dans les modèles BERT.
Fourier Positional Encoding
Méthode basée sur les séries de Fourier pour représenter les positions, utilisant différentes fréquences pour capturer des motifs à différentes échelles temporelles ou spatiales dans la séquence.
Gaussian Positional Encoding
Technique utilisant des fonctions gaussiennes centrées sur chaque position pour créer des encodages continus et lisses, particulièrement efficace pour modéliser des relations de position continues dans les données.
T5 Positional Encoding
Variante d'encodage positionnel utilisée dans le modèle T5, combinant des embeddings de position appris avec des scalaires de position pour améliorer la représentation des positions relatives dans les tâches de génération de texte.
BERT Positional Encoding
Implémentation spécifique utilisée dans les modèles BERT, basée sur des embeddings de position appris de taille 512 maximum, ajoutés directement aux embeddings de tokens avant les couches de transformeur.
GPT Positional Encoding
Système d'encodage positionnel utilisé dans les modèles GPT, initialement basé sur des embeddings appris puis évolué vers des variantes plus sophistiquées comme RoPE dans les versions plus récentes pour une meilleure extrapolation.
Positional Interpolation
Technique d'extrapolation permettant d'étendre les modèles pré-entraînés à des contextes plus longs en interpolant les encodages positionnels existants plutôt que d'en apprendre de nouveaux, préservant ainsi les connaissances acquises.