トークン化

トークン化パイプライン

正規化、事前トークン化、モデルセグメンテーション、後処理を含む一連の前処理ステップで、最終的なトークンを生成するための順次的な処理チェーン。

← 戻る