Cross-Attention

Regularização de Cross-Attention

Técnicas de restrição aplicadas aos pesos de atenção da cross-attention para encorajar propriedades desejáveis como esparsidade, diversidade ou coerência temporal. Melhora a interpretabilidade e a generalização do modelo.

← Voltar