トークン化

トークン化空間

語彙サイズの合計によって定義される数学的次元で、各トークンは一意の数値識別子にマッピングされます。この空間は処理の計算複雑性を決定し、トランスフォーマーアーキテクチャにおける埋め込みと注意層のサイズに直接影響を与えます。

← 戻る