एआई शब्दावली

📖

शब्द

Causal Masking

Technique dans le décodeur qui masque toutes les positions futures pour garantir que la prédiction pour la position i ne dépend que des positions 1 à i, respectant la nature auto-régressive de la génération.

📖

शब्द

Output Projection

Couche linéaire finale qui projette les représentations du décodeur vers l'espace de vocabulaire, suivie d'un softmax pour produire une distribution de probabilité sur les tokens possibles à chaque position de sortie.