AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
サブカテゴリ
セルフアテンション
Transformerがシーケンス内の各要素の他の要素に対する相対的重要性を動的に計算できるようにする基本的なメカニズム。
2 用語
サブカテゴリ
マルチヘッドアテンション
自己注意の拡張であり、複数の注意ヘッドが並列に動作してデータ内の様々なタイプの関係性を捉えるもの。
4 用語
サブカテゴリ
ポジショナルエンコーディング
シーケンス内の位置情報を埋め込みに組み込むことで、トランスフォーマーにおける再帰構造の欠如を補完する手法。
6 用語
サブカテゴリ
エンコーダ-デコーダアーキテクチャ
元のトランスフォーマーの基本的な構造で、入力を処理するためのエンコーダと出力を生成するためのデコーダを組み合わせたもの。
8 用語
サブカテゴリ
BERT（Bidirectional Encoder Representations）
エンコーダー専用アーキテクチャに基づき、双方向の文脈理解を持つ事前学習済みモデルのファミリー。
10 用語
サブカテゴリ
GPT (Generative Pre-trained Transformer)
自己回帰テキスト生成のために最適化されたデコーダーのみのアーキテクチャで、大規模言語モデルの基礎を形成しています。
5 用語
サブカテゴリ
ビジョントランスフォーマー (ViT)
画像をパッチに分割し、シーケンスとして扱うことで、トランスフォーマーアーキテクチャを画像処理に適用する。
11 用語
サブカテゴリ
スパース注意メカニズム
シーケンス要素間の接続を制限することで計算複雑性を低減する注意の変種。
2 用語
サブカテゴリ
クロスアテンション
クエリが一つのシーケンスから、キーとバリューが別の異なるシーケンスから来るアテンションメカニズム。
2 用語
サブカテゴリ
Transformerのスケーリング法則
Transformerの性能がモデルサイズ、データ、計算量に応じてどのように変化するかを記述する経験則。
18 用語
サブカテゴリ
アテンションヘッド分析
トランスフォーマーの内部動作を理解するための、様々なアテンションヘッドの専門的役割に関する研究。
19 用語
サブカテゴリ
階層的アテンション
複雑な構造化データを処理するために階層的に編成された注意アーキテクチャ
9 用語
🔍