Positional Encoding

T5's Relative Position Bias

Implémentation spécifique de biais de position relative utilisée dans le modèle T5, où les biais sont appris pour différentes distances relatives entre les tokens dans les scores d'attention.

← Retour