サブワードトークナイゼーション

トークン頻度しきい値

サブワードトークン化において語彙のカバレッジとサイズのバランスを取るために重要な、語彙に含めるためにトークンが達成する必要がある最小頻度を定義するパラメータ。

← 戻る