BERT et ses Variantes

BART

Architecture Transformer bidirectionnelle et autorégressive combinant les avantages de BERT et GPT. Utilise un encodeur-décodeur avec corruption de texte pour le pré-entraînement, excellent pour les tâches de génération.

← Retour