AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
サブカテゴリ
アテンション機構
モデルがデータ系列内の要素の相対的な重要度を重み付けできるようにする数学的基礎
5 用語
サブカテゴリ
自己注意
シーケンス内の各要素が、同じシーケンス内の他のすべての要素に対して注意を計算する仕組み。
0 用語
サブカテゴリ
マルチヘッドアテンション
複数のアテンションヘッドを並列に使用して、異なる種類の関係を捉えるアテンションの拡張。
3 用語
サブカテゴリ
ポジショナルエンコーディング
RNNを使用せずに、要素のシーケンス位置をエンベディングに組み込む手法。
12 用語
サブカテゴリ
エンコーダ-デコーダアーキテクチャ
入力処理（エンコーダ）と出力生成（デコーダ）を分離する、トランスフォーマーの基本的な構造。
2 用語
サブカテゴリ
アテンション・スケーリング
次元の平方根による正規化を行い、学習を安定化させ、勾配爆発を防ぐ。
14 用語
サブカテゴリ
クロスアテンション
異なる2つのシーケンス間のアテンション機構。翻訳やマルチモーダルタスクで使用される。
8 用語
サブカテゴリ
スパースアテンション
計算量を削減するために、位置の部分集合でのみアテンションを計算するアテンションの変種。
3 用語
サブカテゴリ
アテンションマスク
アテンション計算中に情報の漏洩を防ぐために、特定の位置をマスクする制御メカニズム。
9 用語
サブカテゴリ
ビジョントランスフォーマー
画像をパッチのシーケンスとして扱うことで、Transformerアーキテクチャをコンピュータビジョンタスクに適用する。
9 用語
サブカテゴリ
効率的アテンション
より長いシーケンスに対して、標準的なアテンションの二次計算量を削減することを目的とした最適化の集合。
2 用語
サブカテゴリ
階層的アテンション
データ内の異なる階層レベルにおける関係を捉える、多階層注意構造。
12 用語
🔍