Atenção Esparsa

Memory-based Attention

Arquitetura que utiliza uma memória comprimida externa de tamanho fixo para armazenar informações relevantes de tokens passados, permitindo atenção em sequências arbitrariamente longas.

← Voltar