スパースアテンション

Longformer

スライディングウィンドウによるローカルアテンションとグローバルアテンションの組み合わせを使用して、線形計算量で非常に長いシーケンスを効率的に処理するTransformerアーキテクチャ。

← 戻る