Codificação Posicional

Codificação Posicional Alibi

Método que penaliza as pontuações de atenção com base na distância entre os tokens, adicionando vieses estáticos à matriz de atenção, permitindo uma melhor extrapolação para sequências mais longas sem modificações arquitetónicas complexas.

← Voltar