Codificação Posicional

ALiBi (Atenção com Vieses Lineares)

Método alternativo à codificação posicional tradicional que adiciona vieses lineares às pontuações de atenção com base na distância entre as posições, permitindo uma melhor extrapolação para sequências mais longas.

← Voltar