AI-ordlista
Den kompletta ordlistan över AI
Matrices QKV (Query, Key, Value)
Trois projections linéaires de l'entrée utilisées dans l'attention : Query pour la requête actuelle, Key pour les clés de comparaison, et Value pour les valeurs à agréger selon les poids d'attention.
Dimension de Tête d'Attention
Taille de l'espace de représentation pour chaque tête d'attention individuelle, généralement calculée comme la dimension du modèle divisée par le nombre de têtes.
Concaténation des Têtes
Étape finale du multi-head attention où les sorties de toutes les têtes sont concaténées puis projetées linéairement pour produire la sortie finale du mécanisme d'attention.
Connexions Résiduelles
Chemins de raccourci dans les Transformers qui ajoutent l'entrée directement à la sortie des sous-couches d'attention, facilitant l'entraînement de réseaux profonds en préservant le gradient.
Projéctions Linéaires Multiples
Transformations linéaires distinctes appliquées à l'entrée pour générer les ensembles de Q, K et V pour chaque tête d'attention dans le mécanisme multi-tête.
Multi-Query Attention
Variante du multi-head attention partageant les matrices de clé et valeur entre toutes les têtes tout en maintenant des projections de requête distinctes, réduisant l'empreinte mémoire.
Factored Attention
Approche décomposant le calcul d'attention en opérations de faible rang pour réduire la complexité computationnelle tout en préservant les performances du modèle.