サブワードトークナイゼーション

トークンIDマッピング

語彙の各トークンと一意の数値識別子間の全単射対応で、ニューラルモデルでテキスト表現と数値表現間の効率的な変換を可能にします。

← 戻る