ポジショナルエンコーディング

ALiBi (Attention with Linear Biases)

従来の位置エンコーディングの代替手法で、位置間の距離に基づいてアテンションスコアに線形バイアスを加えることで、より長いシーケンスへの外挿を可能にするもの。

← 戻る