スパースアテンション

Memory-based Attention

過去のトークンから関連情報を格納する固定サイズの外部圧縮メモリを使用するアーキテクチャで、任意の長さのシーケンスに対してアテンションを可能にします。

← 戻る