セルフアテンション

ソフトマックス正規化

アテンションスコアを確率分布に変換する活性化関数で、各位置においてアテンション重みの合計が1になることを保証する。

← 戻る