スパースアテンション
固定パターン・アテンション
トークン間の接続が、対角線の帯状やジグザグなどの事前に決定された固定パターンに従うスパースアテンションのスキームです。実装を簡素化し、計算量の予測可能性を保証しつつ、特定の空間構造を捉えることができます。
← 戻るトークン間の接続が、対角線の帯状やジグザグなどの事前に決定された固定パターンに従うスパースアテンションのスキームです。実装を簡素化し、計算量の予測可能性を保証しつつ、特定の空間構造を捉えることができます。
← 戻る