Atenção Esparsa

Random Attention

Abordagem onde cada token atrai aleatoriamente a atenção sobre um subconjunto de tokens distantes, preservando conexões de longa distância com baixo custo computacional.

← Voltar