事前トレーニングとコーパス

サブワードトークン化

単語をより小さな単位（形態素）に分割するトークン化アプローチで、モデルが稀な単語や新語を効率的に処理できるようにする。

← 戻る