AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
クエリー・キー・バリュー (QKV)
アテンションにおける基本的なベクトルの三つ組であり、クエリーが情報を検索し、キーが利用可能な情報を識別し、バリューが抽出すべき情報を含みます。
用語
アテンションの重み
各入力要素の相対的な重要性を示す正規化された係数で、通常はアテンションスコアにソフトマックスを適用した後で得られます。
用語
位置エンコーディング
シーケンス内のトークンの位置を示すために埋め込みに追加される情報で、トランスフォーマーにおける再帰性の欠如を補います。
用語
因果的アテンション
各位置が先行する位置にのみ注意を払えるマスクされたアテンションの一種で、主にテキスト生成タスクで使用されます。
用語
アテンションスコア
正規化前にクエリーとキーの間で計算される生の値で、これら2つの要素間の関連性または互換性を定量化します。
用語
ソフトマックス正規化
アテンションスコアを確率分布に変換するために適用される活性化関数で、重みの合計が1になることを保証します。
用語
アテンションヘッド
マルチヘッドアテンション内の個々のサブメカニズムで、各ヘッドがデータ内の異なる側面や関係に焦点を当てることを学習します。
用語
アテンション行列
各入力要素がシーケンスの他のすべての要素にどのように注意を向けるかを示すアテンションの重みの2次元表現。
用語
カーネル注意
カーネル関数を使用して注意の重みを計算するアプローチで、要素間のより複雑な非線形関係を可能にします。
用語
スパース注意
最も関連性の高いペアのみを考慮することで計算される注意接続の数を減らし、計算効率を向上させる最適化。
🔍