スパースアテンション

固定パターン・アテンション

トークン間の接続が、対角線の帯状やジグザグなどの事前に決定された固定パターンに従うスパースアテンションのスキームです。実装を簡素化し、計算量の予測可能性を保証しつつ、特定の空間構造を捉えることができます。

← 戻る