スパースアテンション

ストライド・アテンション

トークンが一定の間隔（ストライド）で他のトークンを参照するスパースアテンションの変種です。異なる時間的または空間的スケールの依存関係を捉えることができ、計算量を制御しながら局所的およびグローバルな情報を効果的に組み合わせます。

← 戻る