トークン化とエンコード

正規表現トークン化

正規表現のパターンを使用して複雑なトークン化ルールを定義する分割手法で、単語、句読点、およびその他の記号を制御された方法で分離することができます。

← 戻る