効率的なトランスフォーマー

拡張アテンション

複雑さを増やすことなく長距離依存関係を捉えるために、拡張パターンを使用するスライディングウィンドウアテンションの拡張。パターンの穴により、受容野の指数関数的拡大が可能になります。

← 戻る