Самовнимание

Нормализация Softmax

Функция активации, преобразующая оценки внимания в распределение вероятностей, гарантирующая, что сумма весов внимания равна 1 для каждой позиции.

← Назад