BERT Architecture

[CLS] Token

Token spécial ajouté au début de chaque séquence d'entrée dont la représentation finale est utilisée pour les tâches de classification. Ce token agrège l'information contextuelle de toute la séquence pour prendre des décisions de niveau global.

← Retour