スパースアテンション

ブロックワイズ・アテンション

シーケンスをブロックに分割し、ブロック内およびブロック間のアテンションを順次的または階層的に計算するアプローチです。個別のトークン間ではなく、ブロック間で情報を交換することで、非常に長いシーケンスを処理することが可能になります。

← 戻る