AI 詞彙表
人工智能完整詞典
Mémoire Externe
Structure de stockage séparée des paramètres du réseau de neurones, permettant de conserver des informations sur le long terme et d'y accéder de manière différentiable. Elle sert de mémoire de travail pour les architectures neurales complexes, similaire à la RAM dans les systèmes informatiques.
Attention à Tête Multiple
Variante du mécanisme d'attention où plusieurs ensembles de poids d'attention sont calculés en parallèle sur les mêmes données. Chaque tête capture différentes relations et dépendances dans les données, permettant une représentation plus riche et nuancée.
Adresse de Lecture
Mécanisme permettant de localiser et récupérer des informations spécifiques dans la mémoire externe d'un réseau neuronal. L'adressage peut être basé sur le contenu (content-based) ou sur la localisation (location-based) des informations stockées.
Adresse d'Écriture
Processus déterminant où et comment stocker de nouvelles informations dans la mémoire externe d'une architecture neurale. Elle inclut des mécanismes d'allocation de mémoire et de mise à jour pondérée pour éviter l'écrasement des informations importantes.
Attention Soft
Mécanisme d'attention produisant une distribution de probabilités sur toutes les positions, permettant un accès pondéré à toutes les informations. Cette approche facilite la différentiabilité et la rétropropagation du gradient lors de l'entraînement.
Attention Hard
Variante de l'attention sélectionnant un sous-ensemble discret de positions plutôt qu'une distribution continue sur toutes les positions. Elle est plus efficace computationnellement mais nécessite des techniques spéciales pour maintenir la différentiabilité.
Clés d'Attention
Représentations vectorielles utilisées pour comparer les requêtes avec les éléments stockés en mémoire via des mécanismes de similarité. Les clés permettent d'identifier les informations les plus pertinentes pour une requête donnée lors du processus d'attention.
Valeurs d'Attention
Représentations vectorielles contenant l'information réelle stockée en mémoire et récupérée via le mécanisme d'attention. Les valeurs sont combinées avec les poids d'attention pour produire la sortie pondérée du système attentionné.
Requêtes d'Attention
Vecteurs représentant l'information recherchée ou le contexte actuel, utilisés pour calculer les poids d'attention. Les requêtes sont comparées aux clés pour déterminer l'importance relative de chaque élément en mémoire.
Mémoire à Accès Aléatoire
Structure de stockage permettant l'accès direct à n'importe quelle position mémoire sans avoir à parcourir séquentiellement les données. Dans les architectures attentionnées, cet accès est généralement pondéré et différentiable plutôt que strictement binaire.
Attention Auto-Régressive
Mécanisme d'attention où chaque position ne peut s'atténuer qu'aux positions précédentes, préservant ainsi le caractère causal du modèle. Cette approche est essentielle dans les modèles génératifs séquentiels pour éviter les fuites d'information futures.