AI用語集

📖

用語

モダリティアライメント

異なるモダリティの表現空間を共通のベクトル空間に整列させ、クロスモーダルな転移を容易にするための訓練プロセス。

📖

用語

パーシーバー

入力と潜在ボトルネック間のクロスアテンション機構を用いて、任意のマルチモーダルデータを処理できる汎用的なTransformerアーキテクチャ。

📖

用語

統合マルチモーダル事前学習

より汎用的で転移可能な表現を得るために、単一のモデルを複数のタスクとモダリティで同時に事前学習させるアプローチ。

📖

用語

画像キャプション生成Transformer

入力画像に対して、記述的で一貫性のあるテキスト説明を自動的に生成するエンコーダーデコーダーTransformerアーキテクチャ。

📖

用語

オーディオビジュアルTransformer

オーディオビジュアル認識や同期生成などのタスクのために、オーディオとビデオのストリームを同時に処理するTransformerモデル。

📖

用語

ビデオTransformer

時空間アテンションを通じて時間情報を組み込み、ビデオフレームのシーケンシャル処理に適応させたVision Transformerの変種。

📖

用語

Transformerベースのマルチモーダル融合

複数のモダリティの特徴をセマンティックレベルでインテリジェントに融合するために、Transformerのアテンションメカニズムを利用する技術。