GPT

Decoder-only Architecture

Structure de modèle Transformer utilisant uniquement des couches de décodage, optimisée pour la génération de texte autoregressive. Contrairement aux encodeurs-décodeurs, cette architecture masque les tokens futurs lors de l'entraînement pour préserver la nature causale.

← Back