トークン化

コンテキストトークン化

セグメンテーションの決定が周囲の文脈に依存する高度な技術で、同じ単語でも使用法に応じて異なるトークン化を可能にします。XLNetのようなモデルで使用されるこのアプローチは、意味的表現を向上させますが、計算複雑性を大幅に増加させます。

← 戻る