AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
線形射影
入力埋め込みに適用される線形変換で、各マルチヘッドアテンションヘッドでQuery、Key、Value空間を生成します。
用語
アテンションマスキング
アテンション行列の特定の位置に無限大に近い負の値を適用し、シーケンス要素間の不要な相互作用を防ぐ技術。
用語
マルチヘッド連結
最終的な線形射影で出力を生成する前に、すべてのアテンションヘッドの出力を連結して結合する操作。
用語
文脈埋め込み
アテンションメカニズムによって生成された、シーケンス全体の文脈情報を各要素に組み込んだ豊富なベクトル表現。
用語
アテンションヘッド次元
マルチヘッドアテンションにおける各アテンションサブ空間の縮小された次元性で、通常model_dimension / number_of_headsとして計算されます。
用語
並列アテンション計算
複数のアテンションヘッドが同時に並列で計算されるプロセスで、シーケンス関係の様々な側面を効率的に捉えることができます。
用語
残差アテンション接続
アテンション層の出力に元の入力を加算する残差接続で、情報フローを維持しながら深層ネットワークのトレーニングを容易にします。
用語
アテンション分布
softmaxによって生成されるシーケンス要素上の確率分布で、特定の要素を処理する際にモデルがどこを「注目」しているかを示します。
🔍