Escalonamento da Atenção

Normalização da Pontuação de Atenção

Normalização das pontuações de similaridade antes da aplicação de Softmax para controlar a distribuição de probabilidade e prevenir concentrações extremas de atenção.

← Voltar