AI用語集

📖

用語

ブロックワイズ・アテンション

シーケンスをブロックに分割し、ブロック内およびブロック間のアテンションを順次的または階層的に計算するアプローチです。個別のトークン間ではなく、ブロック間で情報を交換することで、非常に長いシーケンスを処理することが可能になります。

📖

用語

固定パターン・アテンション

トークン間の接続が、対角線の帯状やジグザグなどの事前に決定された固定パターンに従うスパースアテンションのスキームです。実装を簡素化し、計算量の予測可能性を保証しつつ、特定の空間構造を捉えることができます。

📖

用語

ストライド・アテンション

トークンが一定の間隔（ストライド）で他のトークンを参照するスパースアテンションの変種です。異なる時間的または空間的スケールの依存関係を捉えることができ、計算量を制御しながら局所的およびグローバルな情報を効果的に組み合わせます。