AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
クエリ・キー・バリュー射影
入力シーケンスに適用される線形変換で、アテンション計算に使用されるクエリ、キー、バリューベクトルを生成します。
用語
クロスアテンション行列
ソースシーケンスのトークンとターゲットシーケンスのトークン間の関係を表すアテンション重み行列。
用語
スケーリング済み内積クロスアテンション
正規化された内積を使用してアテンションスコアを計算する、クロスアテンションの数学的実装。
用語
アテンション重みの正規化
アテンションスコアにソフトマックス関数を適用して、合計が1になる確率分布を取得します。
用語
クロスアテンション層
独自の学習可能なパラメータを持つクロスアテンションメカニズムを実装する特定のニューラル層。
用語
クロスアテンションヘッド
マルチヘッドクロスアテンション内の個々の計算ユニットで、埋め込みの次元削減されたサブ空間で動作します。
用語
双方向クロスアテンション
2つのシーケンス間でアテンションが双方向に流れる構成で、BERTなどのアーキテクチャで使用されます。
用語
クロスアテンション残差接続
深い学習を容易にし、勾配を保持するためにクロスアテンション層の後に適用される残差接続。
用語
クロスアテンション層正規化
クロスアテンションの前後に適用される正規化で、学習を安定化させ、収束を改善する。
用語
クロスアテンション位置エンコーディング
異なるシーケンス間のトークンの相対位置情報を提供するために注入される位置エンコーディング。
用語
クロスアテンションメモリ複雑性
長さnとmのシーケンスに対するO(n²)のメモリ複雑性で、これはトランスフォーマーの主要なボトルネックとなる。
用語
クロスアテンション勾配フロー
逆伝播中にアテンション行列を通じて勾配を伝播させることで、アテンション重みの学習に不可欠。
🔍