トークン化

語彙サイズ

モデルの語彙におけるユニークなトークンの総数を決定する重要なパラメータで、モデルのサイズと言語的多様性を扱う能力に直接影響を与える。

← 戻る