Technique dans le décodeur qui masque toutes les positions futures pour garantir que la prédiction pour la position i ne dépend que des positions 1 à i, respectant la nature auto-régressive de la génération.

📖

termes

Output Projection

Couche linéaire finale qui projette les représentations du décodeur vers l'espace de vocabulaire, suivie d'un softmax pour produire une distribution de probabilité sur les tokens possibles à chaque position de sortie.

🔍

Glossaire IA

Causal Masking

Output Projection

Aucun résultat trouvé