Transformers Eficientes

Local Attention

Mecanismo de atenção restrito a vizinhanças locais ao redor de cada posição, reduzindo drasticamente o número de pares de tokens a considerar. Esta abordagem é particularmente eficaz para dados com estrutura local forte.

← Voltar