AI用語集
人工知能の完全辞典
236
カテゴリ
3,245
サブカテゴリ
39,334
用語
サブカテゴリ
アテンション機構
トランスフォーマーがシーケンス内の異なる部分の重要度を重み付けすることを可能にする基本的な構成要素
0 用語
サブカテゴリ
エンコーダとデコーダ
シーケンスを処理および生成するための2つの主要なコンポーネントを持つトランスフォーマーの基本アーキテクチャ構造
8 用語
サブカテゴリ
ポジショナルエンコーディング
再帰を使用せずに、埋め込み表現に位置情報を組み込む技術
5 用語
サブカテゴリ
マルチヘッドアテンション
異なる種類の関係性を捉えるために、複数のアテンションヘッドを並列に使用した注意機構の拡張
3 用語
サブカテゴリ
BERT
Transformerのエンコーダに基づく革新的な双方向事前学習モデル
0 用語
サブカテゴリ
GPT
テキスト生成のためのTransformerデコーダに基づく生成モデルシリーズ
16 用語
サブカテゴリ
ビジョントランスフォーマー
画像をシーケンスとして扱うことにより、トランスフォーマーアーキテクチャをコンピュータビジョンタスクに応用すること
2 用語
サブカテゴリ
自己注意
シーケンスの各要素が、同じシーケンス内の他のすべての要素と相互作用できるようにする機構
0 用語
サブカテゴリ
クロスアテンション
異なる2つのシーケンス間の注意機構。翻訳タスクにおいて不可欠な要素。
0 用語
サブカテゴリ
Transformer-XL
文脈の途切れなく長期依存関係をモデル化できるトランスフォーマーの拡張
16 用語
サブカテゴリ
T5
すべてのNLPタスクを同じテキスト入出力形式で統合するテキスト・トゥ・テキストモデル
10 用語
サブカテゴリ
スパースアテンション
接続を制限することで計算複雑性を低減する効率的なアテンションの変種
1 用語
サブカテゴリ
レイヤー正規化
深いトランスフォーマーの学習を安定させるために不可欠な正規化手法
10 用語
サブカテゴリ
フィードフォワードネットワーク
Transformer層の各位置に適用される全結合ネットワーク
8 用語
サブカテゴリ
アテンションマスク
どのトークンが互いに注意を払うことができるかを制御する仕組み
8 用語
🔍