Architecture Transformer

Attention Weight

Scores normalisés par softmax qui déterminent l'importance relative de chaque élément lors du calcul de l'attention. Ces poids sont utilisés pour pondérer la combinaison linéaire des valeurs.

← رجوع