線形で効率的な注意機構

効率的なトランスフォーマー

二次的な注意の複雑さを克服するために設計されたトランスフォーマーアーキテクチャのカテゴリで、線形注意、スパース注意、低ランク注意などの技術を使用して、より長いシーケンスを処理する。

← 戻る