トークン化

トークナイザー

テキストを事前定義されたスキームに従ってトークンに分解するルールと手法を実装する特定のツールまたはアルゴリズム。現代のトークナイザーは、主なセグメンテーションの前にUnicode正規化や事前トークン化のような前処理を含んでいます。

← 戻る