スパースアテンション

カーネルベースアテンション

ソフトマックスアテンションをカーネルで近似するアプローチで、FAVOR+（Positive Orthogonal Random Featuresによる高速アテンション）などの技術を介して線形計算量の計算を可能にします。

← 戻る