Encoder-Decoder Architecture

Masquage Causal

Technique appliquée dans le décodeur pour empêcher chaque position d'attirer l'attention sur les positions futures, garantissant ainsi la nature auto-régressive de la génération et l'absence de fuite d'information.

← Retour