スパースアテンション

ルーティングTransformer

k-meansベースのルーティングを使用してトークンをグループ化し、選択的にアテンションを適用するモデルで、長距離依存関係の計算を最適化します。

← 戻る