トークン化

貪欲トークン化

処理対象の残りの単語の先頭に一致する最も長い可能なトークンを常に選択するセグメンテーション戦略。この単純で迅速なアプローチは、シーケンス全体を考慮するグローバルな手法と比較して、時には非最適な結果を生じることがあります。

← 戻る