Sparse Attention

Sparse Factorized Attention

Descomposición de la atención completa en producto de múltiples matrices dispersas (típicamente locales y globales), permitiendo una aproximación controlada con complejidad casi-lineal.

← Volver