Multi-Head Attention

Linear Projection

Transformation linéaire appliquée aux embeddings d'entrée pour générer les espaces Query, Key et Value dans chaque tête d'attention multi-têtes.

← Retour