Архитектура Трансформер

Вес Внимания

Нормализованные с помощью softmax оценки, которые определяют относительную важность каждого элемента при вычислении внимания. Эти веса используются для взвешенной линейной комбинации значений.

← Назад