Sparse Attention

Linformers

Arquitectura transformer con complejidad lineal utilizando una proyección de claves y valores en una dimensión reducida k << n, permitiendo procesar secuencias muy largas de manera eficiente.

← Volver