AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
用語
連結と線形射影
マルチヘッドアテンションの最終ステップで、すべてのヘッドの出力が連結され、モデルの次元を復元するために線形的に射影され、異なる部分空間からの情報を融合します。
用語
因果アテンション（マスク付き自己アテンション）
デコーダで使用される自己アテンションの一種で、マスク付きアテンションを適用してトークンが将来のトークンに注意を向けるのを防ぎ、モデルの自己回帰的な性質を保証します。
用語
ヘッド次元 (d_k)
各アテンションヘッドにおけるキーと値のベクトルの次元で、モデルの次元をヘッド数で割ることで計算され、各ヘッドの表現能力に影響を与えます。
用語
線形化アテンション
アテンションの計算を書き換えて完全なアテンション行列の実体化を回避し、系列の長さに対して線形の複雑さを可能にするアテンションメカニズムの一群です。
🔍