Autoatenção Multi-Cabeça

Softmax nas Chaves

Aplicação da função softmax aos scores de atenção (produtos escalares query-key) para obter uma distribuição de probabilidade normalizada que serve como pesos de atenção.

← Voltar