AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
サブカテゴリ
マルチヘッド自己注意
複数の注意表現でシーケンスの異なる位置に同時に焦点を当てることを可能にする基本的なメカニズム。
13 用語
サブカテゴリ
位置エンコーディング
トランスフォーマーは本質的に再帰性を持たないため、シーケンス内のトークンの位置情報を組み込むための技術。
19 用語
サブカテゴリ
エンコーダ・デコーダアーキテクチャ
双方向構造で、エンコーダが入力シーケンスを処理し、デコーダが出力シーケンスを生成する。翻訳タスクで使用される。
5 用語
サブカテゴリ
BERTとマスク言語モデル
トークンマスキング目標で事前学習されたモデル、双方向の文脈表現でNLPに革命をもたらす。
3 用語
サブカテゴリ
GPTと自己回帰モデル
デコーダーのみのアーキテクチャで、テキストをトークンごとに生成し、前のトークンに基づいて次のトークンを予測する。
11 用語
サブカテゴリ
Vision Transformers (ViT)
コンピュータビジョンタスクのためのTransformerの適応。画像をパッチのシーケンスとして扱う。
5 用語
サブカテゴリ
線形で効率的な注意機構
二次的な複雑さを線形の複雑さに削減する注意機構の変種により、より長い系列を効率的に処理できる。
3 用語
サブカテゴリ
マルチモーダルトランスフォーマー
テキスト、画像、音声などの複数のモダリティを同一の表現空間で同時に処理する統一アーキテクチャ。
9 用語
サブカテゴリ
ファインチューニングとプロンプトエンジニアリング
事前学習済みモデルを少量の学習データで特定のタスクに適応させる技術
7 用語
サブカテゴリ
アテンションメカニズムの解釈可能性
モデルの決定を理解し、学習された依存関係を特定するためのアテンション重みの研究と可視化
14 用語
サブカテゴリ
オーディオ向けトランスフォーマー
音声処理、音声認識、音楽生成タスクへのトランスフォーマーアーキテクチャの応用
18 用語
サブカテゴリ
スパースアテンション
計算量とメモリ使用量を削減するために、位置のサブセットのみを考慮するアテンションの変種。
0 用語
🔍