効率的なトランスフォーマー

スパースTransformer

計算量を削減しながら長距離依存関係を捉えるために、予測的スパースアテンションパターンを使用するバリアント。アーキテクチャは処理を最適化するためにアテンションをサブセットに分解します。

← 戻る