AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
サブカテゴリ
アテンションメカニズム
処理中に入力の異なる部分の重要度をモデルに重み付けさせる。
10 用語
サブカテゴリ
セルフアテンション
シーケンスの各要素が同じシーケンス内の他のすべての要素に注意を向ける仕組み。
7 用語
サブカテゴリ
マルチヘッドアテンション
自己注意の拡張であり、複数の注意ヘッドを並列に使用して異なる種類の関係を捉える。
8 用語
サブカテゴリ
位置エンコーディング
RNNを使用せずに埋め込みに位置情報を統合する技術。
19 用語
サブカテゴリ
エンコーダー・デコーダー・アーキテクチャ
エンコーダーで理解しデコーダーで生成する、トランスフォーマーの基本的な構造。
4 用語
サブカテゴリ
スケーリング済み内積アテンション
スケーリングを伴うTransformersにおける注意力計算の基本的な数学的形式。
5 用語
サブカテゴリ
フィードフォワードネットワーク
トランスフォーマーの各アテンション層の後に適用される全結合ネットワーク
16 用語
サブカテゴリ
レイヤー正規化
Transformerに適用される、学習を安定化させるための正規化手法。
6 用語
サブカテゴリ
アテンションマスク
どのトークンが他のトークンに注意を向けられるかを制御するメカニズム。
19 用語
サブカテゴリ
ビジョントランスフォーマー(ViT)
画像をパッチに分割することでTransformerアーキテクチャを画像処理に適用すること。
14 用語
サブカテゴリ
BERTアーキテクチャ
Transformerエンコーダーのみで、マスク言語モデリングの目的で事前トレーニングされたモデル。
11 用語
サブカテゴリ
GPTアーキテクチャ
自己回帰的にテキスト生成を最適化したTransformerデコーダーのみのアーキテクチャ。
8 用語
サブカテゴリ
クロスアテンション
エンコーダー-デコーダーにおける2つの異なるシーケンス間のアテンションメカニズム
5 用語
サブカテゴリ
スパースアテンション
選択的なペアのみを計算することで複雑さを軽減するアテンションの変種。
18 用語
サブカテゴリ
階層的アテンション
異なる粒度のスケールでアテンションを適用するマルチレベルアーキテクチャ
12 用語
サブカテゴリ
アテンションの可視化
トランスフォーマーのアテンション重みを解釈・可視化する技術
17 用語
サブカテゴリ
Transformerの最適化
大規模Transformerモデルの効率的なトレーニングのための具体的な方法
16 用語
サブカテゴリ
マルチモーダルトランスフォーマー
複数のデータタイプを同時に処理するための拡張トランスフォーマーアーキテクチャ
18 用語
サブカテゴリ
効率的なトランスフォーマー
計算複雑性を低減するための最適化されたトランスフォーマーの変種
9 用語
サブカテゴリ
アテンションメカニズムの変種
ドット積を超えたアテンションメカニズムの様々なアプローチと改良
9 用語
🔍