Transformadores Eficientes

Local Attention

Mecanismo de atención restringido a vecindarios locales alrededor de cada posición, reduciendo drásticamente el número de pares de tokens a considerar. Este enfoque es particularmente eficiente para datos con fuerte estructura local.

← Volver