サブワードトークナイゼーション

語彙カバレッジ

UNKトークンなしで表現できるコーパスの割合を評価する指標で、サブワードアルゴリズムによって最適化され、現代のコーパスでは通常99.9%以上のカバレッジを達成します。

← 戻る