एआई शब्दावली

📖

शब्द

Local Attention Pattern

Pattern d'attention restreignant le calcul aux positions voisines dans une fenêtre glissante de taille fixe autour de chaque token.

📖

शब्द

Global Attention Pattern

Mécanisme où certains tokens prédéfinis ou appris peuvent attirer l'attention de tous les autres tokens de la séquence, préservant les dépendances longues.

📖

शब्द

Random Attention Pattern

Approche d'attention sparse établissant des connexions aléatoires entre tokens pour améliorer la propagation d'information et réduire le chemin entre tokens éloignés.

📖

शब्द

Variable Length Attention

Technique adaptative où la taille de la fenêtre d'attention varie selon les tokens ou les couches du réseau pour optimiser l'utilisation computationnelle.

📖

शब्द

Efficient Transformer

Classe de modèles transformer modifiés pour réduire la complexité quadratique de l'attention, incluant approches approximatives, hiérarchiques et sparse.

📖

शब्द

Kernelized Attention

Méthode approximant l'attention par des opérations de convolution utilisant des noyaux de feature maps, évitant le calcul explicite de la matrice d'attention.

📖

शब्द

Sparsemax

Fonction d'activation alternative à softmax produisant des distributions de probabilités sparses avec zéros explicites, idéale pour l'attention sélective.

📖

शब्द

Entmax

Généralisation paramétrique de sparsemax contrôlant le niveau de sparsité dans les distributions d'attention via un paramètre α régissant l'entropie.