AI-ordlista
Den kompletta ordlistan över AI
ALiBi (Attention with Linear Biases)
Méthode alternative à l'encodage positionnel traditionnel qui ajoute des biais linéaires aux scores d'attention en fonction de la distance entre les positions, permettant une meilleure extrapolation à des séquences plus longues.
Positional Bias
Terme additif ou multiplicatif appliqué aux scores d'attention pour tenir compte des relations de position entre les tokens dans les mécanismes d'attention.
Sequence Position Embedding
Représentation vectorielle qui encode explicitement la position de chaque élément dans une séquence, permettant au modèle de comprendre l'ordre séquentiel des données.
Temporal Encoding
Variante d'encodage positionnel spécifiquement conçue pour capturer les dépendances temporelles dans les données séquentielles temporelles, intégrant des notions de temps et de durée.
Continuous Positional Encoding
Méthode d'encodage qui permet des représentations positionnelles continues, pouvant interpoler entre des positions discrètes et gérer des positions fractionnaires.
Fixed Positional Encoding
Type d'encodage positionnel où les embeddings sont prédéterminés et ne sont pas modifiés pendant l'entraînement, basé sur des formules mathématiques fixes comme les fonctions sinusoïdales.
Adaptive Positional Encoding
Approche d'encodage positionnel qui s'adapte dynamiquement à la longueur de la séquence d'entrée, permettant une meilleure généralisation à des longueurs de séquence variables.
Positional Interpolation
Technique pour adapter les modèles pré-entraînés à des séquences plus longues en interpolant linéairement les embeddings positionnels existants plutôt que d'en extrapoler de nouveaux.
NTK-Aware Positional Interpolation
Improved variant of positional interpolation that maintains the properties of the Non-Uniform Fourier Transform (NTK) for better preservation of high-frequency information.
xPOS (Scaling Positional Encoding)
Positional encoding method that uses exponential scaling to better capture long-range dependencies while preserving local position information.
T5's Relative Position Bias
Specific implementation of relative position bias used in the T5 model, where biases are learned for different relative distances between tokens in attention scores.
Transformer-XL Positional Encoding
Recurrent positional encoding mechanism that enables modeling of long-range dependencies by reusing hidden states from previous segments with relative positional encoding.