Positional Encoding

Bidirectional Positional Encoding

Technique utilisant des encodages distincts pour les directions gauche-droite et droite-gauche, permettant au modèle de capturer simultanément les informations contextuelles dans les deux sens comme dans les modèles BERT.

← Retour