Codificação Posicional

ALiBi (Attention with Linear Biases)

Alternativa à codificação posicional que usa vieses lineares diretamente nas pontuações de atenção para representar as distâncias entre tokens.

← Voltar