ポジショナルエンコーディング

ALiBi (線形バイアス付きアテンション)

ポジショナルエンコーディングの代替手法で、トークン間の距離を表現するためにアテンションスコアに直接線形バイアスを適用します。

← 戻る