Codificação Posicional

Codificação Alibi (Attention with Linear Biases)

Método de codificação posicional que penaliza a atenção com base na distância entre os tokens, permitindo uma melhor extrapolação para sequências mais longas.

← Voltar