スパースアテンション

Sparse Factorized Attention

完全なアテンションを複数のスパース行列（通常は局所的および大域的）の積に分解する手法で、準線形計算量で制御された近似を可能にします。

← 戻る