Positional Encoding
Bidirectional Positional Encoding
Technique utilisant des encodages distincts pour les directions gauche-droite et droite-gauche, permettant au modèle de capturer simultanément les informations contextuelles dans les deux sens comme dans les modèles BERT.
← Retour