AI用語集

📖

用語

因果的言語モデル

予測的トランスフォーマーアーキテクチャ。テキストをトークンごとに生成し、各予測を前のトークンに条件付ける。GPTなどのモデルで使用される。

📖

用語

マスク言語モデル

入力内のトークンがマスクされ、モデルがそれらを予測する必要がある自己教師ありアプローチ。コンテキストの双方向学習を可能にする。

📖

用語

ビジョン-トランスフォーマーモデル (ViT)

画像処理へのトランスフォーマーアーキテクチャの適応。畳み込みを画像パッチ上の注意メカニズムで置き換える。

📖

用語

マルチモーダルモデル

共有埋め込み空間を使用して、複数のタイプのデータ（テキスト、画像、音声）を同時に処理・生成できるトランスフォーマー。

📖

用語

トークン埋め込み

事前学習中に学習され、意味的・構文的情報を捕捉する入力トークンの密なベクトル表現。

📖

用語

注意スケール

トランスフォーマーモデル内の注意分布を制御するパラメータ。コンテキストの焦点の集中または分散に影響を与える。

📖

用語

トランスフォーマーベースの拡散モデル

トランスフォーマーアーキテクチャを拡散モデルの反復的デノイジングプロセスに統合し、生成の全体的な一貫性を向上させる。

📖

用語

注意による逆伝播

トークン間の注意重みを可視化することで、トランスフォーマーモデルの決定を分析・解釈できるメカニズム。

📖

用語

基礎モデル（ファウンデーションモデル）

大規模データで事前学習された大規模なTransformerモデルで、ファインチューニングやプロンプトによって様々なアプリケーションの出発点として機能するもの。