マルチヘッドアテンション

ALiBi位置エンコーディング

トークン間の距離に基づいてアテンションスコアに線形バイアスを追加する位置エンコーディング手法。再トレーニングなしで、より長いシーケンスへの外挿を可能にします。

← 戻る