AI用語集
人工知能の完全辞典
共通表現空間
異なるモダリティの特徴量が射影され、直接の比較やクロスモーダル操作を可能にする共有ベクトル空間。
マルチモーダルエンコーディング
複数の入力モダリティを同時に互換性のあるベクトル表現に変換し、結合学習タスクに対応するためのニューラルアーキテクチャ。
モダリティ融合
異なるモダリティソースからの情報を組み合わせ、相補的な関係を捉える統合的かつ豊かな表現を作成する手法。
コントラスト射影
潜在空間において、正のペア（対応するテキストと画像）の類似度を最大化し、負のペアの類似度を最小化する学習手法。
マルチモーダル結合学習
モダリティ間で一貫性のある表現を開発するために、共有された目的を持つ複数のモーダルエンコーダを同時にトレーニングするパラダイム。
マルチモーダルTransformerアーキテクチャ
クロスアテンションメカニズムに基づき、異なるモーダルのシーケンスを処理・統合して、それらの深い相互作用を捉えるモデル。
マルチモーダルトリプレット損失
意味的なアライメントを向上させるために、異なるモダリティのアンカー、正例、負例の間の相対的な距離を最適化するコスト関数。
意味的アライメント
表面的な特徴ではなく、その意味に基づいた異なるモダリティの要素間の概念的な対応関係。
マルチモーダル共同学習
各モダリティが、他のモダリティの情報を相互監督として用いて、自身の表現を向上させることを学習する戦略。
クロスアテンション
あるモダリティが別のモダリティの関連部分を選択的に注目し、詳細な対応関係を確立するためのメカニズム。
マルチスケール対応
局所的な特徴から全体的な表現に至るまで、異なる粒度レベルで機能するモダリティ間の整合性。
マルチモーダル時間同期
音声と映像、あるいはテキストと行動など、異なるモダリティの時系列データストリーム間における正確な時間的整合。
クロスモーダルゼロショット転移
共有空間で学習された整合性により、直接的な学習例なしに新しいモーダルペアやクラスへ一般化する能力。
マルチモーダルメトリックアライメント
類似したモダリティの表現が近く、類似しないものが遠くなるように、潜在空間における距離メトリックを最適化すること。
階層的マルチモーダルエンコーディング
局所的な詳細から全体的な理解へ向かって、マルチモーダル情報を段階的に処理する階層構造を持つアーキテクチャ。
後期融合と前期融合
モーダル統合の2つの戦略：前期融合は生データを組み合わせるのに対し、後期融合は別々に学習された表現を組み合わせる。
グローバル・ローカル対応
正確なマッピングのための、グローバル表現（画像全体・テキスト全体）とローカル対応（領域・単語）間の同時アライメント。