トークン化とエンコード

空白トークン化

空白文字のみに基づいてテキストを分割するシンプルなトークン化手法で、より高度な手法の前の最初のステップとしてよく使用されます。

← 戻る