効率的なトランスフォーマー

リニアTransformer

シーケンスとメモリの線形複雑さを達成するために、カーネル化されたアテンション分解を使用するアーキテクチャ。リニアTransformerは、ソフトマックスを正カーネル関数に置き換えて連想的再順序付けを可能にします。

← 戻る