Atenção Esparsa

Sparse Factorized Attention

Decomposição da atenção completa em um produto de várias matrizes esparsas (tipicamente locais e globais), permitindo uma aproximação controlada com complexidade quase linear.

← Voltar