Глоссарий ИИ

📖

термины

QKV Projection

Transformation linéaire appliquée aux embeddings d'entrée pour générer les tenseurs Query, Key et Value nécessaires au calcul de l'attention.

📖

термины

Head Dimension

Dimension de chaque tête d'attention dans l'attention multi-tête, calculée comme le quotient de la dimension du modèle par le nombre de têtes.

📖

термины

Relative Position Attention

Extension du mécanisme d'attention intégrant explicitement les distances relatives entre positions pour améliorer la modélisation des dépendances séquentielles.

📖

термины

Attention Head Pruning

Technique d'optimisation éliminant les têtes d'attention redondantes ou peu importantes pour réduire la complexité computationnelle.