BERTアーキテクチャ

[CLS]トークン

各入力シーケンスの先頭に追加される特別なトークンで、その最終表現は分類タスクに使用されます。このトークンはシーケンス全体の文脈情報を集約し、グローバルなレベルでの決定を行います。

← 戻る