位置エンコーディング

Longformer位置エンコーディング

長いシーケンス処理用に適合させた位置エンコーディングシステムで、グローバルとローカルの位置埋め込みを組み合わせてスライディングウィンドウアテンションを最適化します。

← 戻る