BERT Architecture

Pooling Layer

Couche finale qui agrège les représentations des tokens en un vecteur unique pour les tâches de classification. BERT utilise typiquement la représentation du token [CLS] ou effectue un pooling moyen sur tous les tokens.

← Retour