効率的なトランスフォーマー

ローカルアテンション

各位置の周りの局所的な近傍に限定されたアテンションメカニズムで、考慮すべきトークンペアの数を劇的に削減します。このアプローチは、強い局所構造を持つデータに特に効果的です。

← 戻る