Glossaire IA
Le dictionnaire complet de l'Intelligence Artificielle
Encodage Positionnel Sinusoïdal
Méthode d'encodage positionnel original utilisant des fonctions sinusoïdales de différentes fréquences pour générer des vecteurs de position uniques et continus.
Encodage Positionnel Appris
Approche où les vecteurs de position sont des paramètres entraînés du modèle, permettant au réseau d'apprendre les représentations positionnelles optimales pour la tâche.
Encodage Positionnel Relatif
Variante d'encodage qui se concentre sur les distances relatives entre les tokens plutôt que leurs positions absolues dans la séquence.
Biais Positionnel
Technique d'encodage positionnel où l'information de position est ajoutée sous forme de biais dans les scores d'attention plutôt que dans les embeddings d'entrée.
Encodage Alibi (Attention with Linear Biases)
Méthode d'encodage positionnel qui pénalise l'attention en fonction de la distance entre les tokens, permettant une meilleure extrapolation à des séquences plus longues.
Encodage Positionnel Rotationnel (RoPE)
Technique qui intègre l'information positionnelle en faisant tourner les vecteurs d'embedding dans l'espace, préservant les relations géométriques entre les tokens.
Encodage Positionnel Convolutif
Approche utilisant des couches de convolution pour générer des représentations positionnelles, capturant des motifs locaux et globaux dans les séquences.
Positionnement Absolu
Stratégie d'encodage où chaque token reçoit un identifiant de position unique basé sur son index absolu dans la séquence.
Positionnement Relatif
Stratégie où l'attention entre les tokens dépend de leur distance relative plutôt que de leurs positions absolues dans la séquence.
Encodage Positionnel Hiérarchique
Méthode qui encode la position à plusieurs niveaux de granularité, capturant à la fois les positions locales et globales dans la structure de la séquence.
Embeddings de Position
Vecteurs denses représentant la position de chaque token dans une séquence, ajoutés aux embeddings de contenu pour former les entrées du Transformer.
Matrice de Positionnement
Structure mathématique contenant les encodages positionnels pour toutes les positions possibles dans une séquence de longueur maximale.
Encodage Positionnel Axial
Technique d'encodage positionnel pour données 2D (comme les images) qui encode séparément les positions sur les axes horizontal et vertical.
Encodage Positionnel par Tenseur
Méthode avancée utilisant des produits tensoriels pour capturer des interactions complexes entre différentes dimensions positionnelles dans les séquences.
Positionnement par Périodicité
Approche d'encodage qui utilise des motifs périodiques pour représenter les positions, particulièrement efficace pour les séquences avec des structures répétitives.
Encodage Positionnel Adaptatif
Technique où les encodages positionnels s'adaptent dynamiquement en fonction du contenu et de la longueur de la séquence traitée.
Positionnement par Interpolation
Méthode permettant d'étendre les encodages positionnels à des longueurs de séquence non vues lors de l'entraînement par interpolation des positions existantes.
Encodage Positionnel Continu
Approche qui traite la position comme une variable continue plutôt que discrète, permettant une représentation plus fine des positions intermédiaires.
Positionnement par Attention Relative
Variante où les scores d'attention sont directement modifiés par les distances relatives entre les tokens, intégrant le positionnement dans le mécanisme d'attention.