Encodage Positionnel

Positionnement par Attention Relative

Variante où les scores d'attention sont directement modifiés par les distances relatives entre les tokens, intégrant le positionnement dans le mécanisme d'attention.

← Retour