Atenção Multi-Cabeça

Alibi Position Encoding

Método de codificação posicional que adiciona vieses lineares aos scores de atenção com base na distância entre tokens. Permite uma melhor extrapolação para sequências mais longas sem retreinamento.

← Voltar