Механизм внимания

Normalisation Softmax

Функция активации, применяемая к оценкам внимания для преобразования их в распределение вероятностей, гарантирующая, что сумма весов равна 1.

← Назад