サブワードトークナイゼーション

トークン圧縮

サブワードトークン化の主な目的は、計算上の最適なパフォーマンスのために妥当なサイズの語彙を維持しながら、単語あたりの平均トークン数を最小限に抑えることです。

← 戻る