人工知能の完全辞典
注意機構の入力から射影されたベクトルの三つ組で、キーとクエリが注意の重みを計算し、値がこれらの重みに従って集計されます。
注意スコアの計算において位置間の相対距離を直接組み込む注意機構で、可変長のシーケンス長に対するより良い一般化を提供します。