AI-ordlista
Den kompletta ordlistan över AI
Fenêtre d'Attention Locale
Paramètre définissant la taille du voisinage considéré dans l'attention locale, typiquement une valeur fixe w où chaque position n'interagit qu'avec ses w/2 voisins de chaque côté.
Attention à Fenêtre Glissante
Variante d'attention locale où la fenêtre de contexte se déplace séquentiellement à travers la séquence, permettant un traitement efficace avec une mémoire constante.
Attention Locale Hiérarchique
Approche multi-niveaux combinant attention locale au niveau des tokens et attention globale au niveau des segments, optimisant le compromis entre contexte local et global.
Attention Locale Dilatée
Extension de l'attention locale utilisant une dilatation entre positions pour capturer des dépendances à plus longue distance tout en maintenant la complexité linéaire.
Attention Locale Stridée
Mécanisme appliquant l'attention locale avec un pas de stride réduit, permettant un échantillonnage efficace des dépendances séquentielles dans les longues séquences.
Attention Locale Adaptative
Variante où la taille de la fenêtre d'attention s'ajuste dynamiquement en fonction de la complexité locale ou des caractéristiques de la séquence d'entrée.
Complexité Linéaire en Attention
Propriété des mécanismes d'attention locale où la complexité temporelle et spatiale croît linéairement avec la longueur de la séquence, contrairement à la complexité quadratique de l'attention standard.
Attention Locale à Blocs
Organisation de l'attention locale en blocs non-chevauchants ou partiellement chevauchants, facilitant le parallélisme et réduisant la complexité computationnelle.
Attention Locale avec Recouvrement
Variante introduisant un chevauchement entre les fenêtres d'attention adjacentes pour préserver les dépendances aux frontières des blocs tout en maintenant l'efficacité computationnelle.
Attention Locale Multi-échelle
Architecture combinant plusieurs tailles de fenêtres d'attention locale pour capturer simultanément des dépendances à différentes échelles temporelles ou spatiales.
Attention Locale Dynamique
Mécanisme où les positions et tailles des fenêtres d'attention sont déterminées dynamiquement pendant l'inférence en fonction du contenu de la séquence.
Attention Locale Bidirectionnelle
Extension de l'attention locale considérant simultanément le contexte passé et futur dans une fenêtre symétrique autour de chaque position.
Attention Locale Éparse
Approche combinant attention locale et motifs d'attention éparse prédéfinis ou appris pour optimiser la couverture des dépendances importantes.
Attention Locale Relativiste
Variante intégrant un encodage de position relatif dans le mécanisme d'attention locale, améliorant la capture des relations ordinales locales.
Attention Locale avec Position Encoding
Intégration d'encodages positionnels spécifiques dans l'attention locale pour mieux représenter les relations spatiales ou temporelles locales.
Attention Locale Axée sur le Contexte
Mécanisme où la fenêtre d'attention locale s'adapte en fonction des caractéristiques sémantiques ou structurelles du contexte environnant.
Attention Locale à Bandes
Variante structurant l'attention locale en bandes diagonales ou horizontales dans la matrice d'attention, optimisant pour des motifs de dépendance spécifiques.
Attention Locale Pyramidale
Architecture hiérarchique où les niveaux supérieurs utilisent des fenêtres d'attention plus larges pour capturer le contexte global progressivement.