KI-Glossar
Das vollständige Wörterbuch der Künstlichen Intelligenz
Sinusoidal Encoding
Méthode de codage positionnel utilisant des fonctions sinusoïdales de différentes fréquences pour représenter les positions, permettant au modèle d'extrapoler à des longueurs de séquence plus longues que celles vues lors de l'entraînement.
ALiBi (Attention with Linear Biases)
Méthode alternative de codage positionnel qui applique des biais linéaires directement aux scores d'attention sans ajouter d'embeddings positionnels explicites.
T5's Relative Position Bias
Technique introduite dans T5 où des biais scalaires appris sont ajoutés aux logits d'attention en fonction de la distance relative entre les tokens de requête et de clé.
DeBERTa's Disentangled Attention
Variante d'attention qui sépare explicitement le contenu et la position en représentant chaque token avec des vecteurs de contenu et de position distincts.
Longformer's Sliding Window Attention
Mécanisme d'attention efficace où chaque token n'attende qu'à un nombre fixe de voisins dans une fenêtre glissante, combiné avec une attention globale pour certains tokens.
Transformer-XL's Relative Positional Encoding
Schéma de codage positionnel révisé qui modifie le calcul d'attention pour dépendre des distances relatives plutôt que des positions absolues, améliorant la modélisation à long terme.
Perceiver IO's Positional Encoding
Approche de codage positionnel flexible dans Perceiver IO qui utilise des embeddings Fourier pour encoder efficacement les positions dans des espaces de dimensionnalité arbitraire.
Reformer's Locality Sensitive Hashing
Technique d'optimisation qui utilise LSH pour approximer l'attention, réduisant la complexité computationnelle tout en préservant les informations positionnelles pertinentes.
XPos (Extrapolatable Positional Encoding)
Méthode de codage positionnel conçue pour une meilleure extrapolation aux longueurs de séquence plus longues que celles vues pendant l'entraînement, combinant rotation et mise à l'échelle.
Complex Exponential Positional Encoding
Approche qui utilise des exponentielles complexes dans le plan complexe pour encoder les informations positionnelles, offrant des propriétés mathématiques intéressantes pour la compositionnalité.
Neural Tangent Kernel for Position
Perspective théorique analysant le codage positionnel à travers le prisme du NTK, fournissant des insights sur les propriétés d'apprentissage et de généralisation des différents schémas de positionnement.