トークン化とエンコード

特殊トークン

分類用の[CLS]、分離用の[SEP]、シーケンスのアライメント用の[PAD]など、特定の意味的機能を持つ事前定義されたトークンで、モデルの入力を構造化するために使用される。

← 戻る