Architecture Encoder-Decoder

Attention Masquée

Variante de l'auto-attention utilisée dans le décodeur pour empêcher chaque position de s'attarder sur les positions suivantes, garantissant une génération auto-régressive et la prévention des fuites d'information.

← Retour