アテンション・スケーリング

クエリ・キー次元

マルチヘッドアテンションにおけるクエリベクトルとキーベクトルの共通の次元。その平方根が正規化のスケーリング係数を決定します。

← 戻る