AI用語集
人工知能の完全辞典
AutoInt
マルチヘッド注意機構を使用して、表形式データの高次特徴量相互作用を自動的にモデル化するために設計されたディープニューラルネットワークアーキテクチャ。
マルチヘッド注意機構
モデルが入力シーケンスの異なる位置に同時に集中することを可能にするモジュールで、複雑な依存関係を捉えるために複数の注意表現を並列に学習します。
高次特徴量相互作用
3つ以上の入力変数の非線形な組み合わせで、複雑な構造化データ上のモデルの予測精度を向上させるためにその捕捉が不可欠です。
特徴量埋め込み
カテゴリカル特徴量の密な低次元ベクトル表現で、モデルがこれらの変数を連続入力として処理し、そのセマンティック関係を学習できるようにします。
相互作用ネットワーク
AutoInt内で、注意機構の適用前に特徴量埋め込みベクトル間の相互作用を明示的に計算する責任を持つサブネットワーク。
注意値
注意機構によって計算される加重スコアで、モデルの最終予測に対する特定の特徴量や相互作用の重要性を定量化します。
注意プーリング
注意重みを使用して特徴量の表現を組み合わせる集約操作で、最も関連性の高い情報を強調するコンテキストベクトルを生成します。
自動相互作用学習
モデルが手動の特徴量エンジニアリングや事前の指定なしに、関連する特徴量相互作用を自ら発見し、階層化するパラダイム。
クエリベクトル (Query Vector)
アテンションメカニズムにおいて、モデルの現在の状態を表し、各キーベクトルとの互換性スコアを計算するために使用されるベクトル。
キーベクトル (Key Vector)
候補の特徴または相互作用の表現で、クエリベクトルと比較されてその注意のレベルを決定するために使用される。
バリューベクトル (Value Vector)
特徴の実際の情報を含むベクトルで、注意スコアによって重み付けされ、アテンションメカニズムの出力を形成するために集約される。
スケーリングされたドット積 (Scaled Dot Product)
アテンションでスコアを計算するために使用される類似性関数で、ドット積をベクトル次元の平方根で割ることで学習を安定化させる。
残差接続と層正規化 (Residual Connection and Layer Normalization)
層の出力をその入力に加算し（残差接続）、次に正規化するアーキテクチャ手法で、AutoIntのような深いネットワークの学習を容易にする。
クロス相互作用 (Cross Interaction)
AutoIntにおける特定の操作で、要素ごとの乗算後に線形変換を使用して、特徴のペア間の相互作用を計算する。
アテンションヘッド (Attention Head)
マルチヘッドモジュールで並列に動作する複数のアテンションメカニズムの1つで、それぞれが特徴の相互作用の異なる側面に焦点を当てることを学習する。
ヘッド集約 (Head Aggregation)
すべてのアテンションヘッドの出力を連結または平均化して、次の層に渡す前に統一された表現を形成するプロセス。
長距離依存関係のモデリング
アテンションメカニズムの、CNNのようなローカルモデルの限界を超越して、埋め込み空間で遠く離れた特徴間の関係を捉える能力。
アテンションマップによる解釈可能性
アテンション重みを分析することによってモデルの決定を可視化し理解し、どの特徴の相互作用が最も影響力があったかを明らかにする方法。