トークン化

トークナイザー推論

学習済みトークナイザーを新しいテキストデータに適用する段階で、生テキストをモデル処理の準備が整ったトークンシーケンスに変換する。

← 戻る