スパースアテンション

Performers

FAVOR+（FAst Attention Via Positive Orthogonal Random Features）アテンションを使用し、数学的特性を維持しながら線形計算量でソフトマックスアテンションを近似するモデルです。

← 戻る