AI用語集
人工知能の完全辞典
マルチモーダルモデル
テキスト、画像、音声、ビデオなど複数のデータタイプを統一されたフレームワーク内で同時に処理し統合できる人工知能アーキテクチャ
早期融合
異なるモダリティが主要モデルによる処理前に生の特徴レベルで組み合わされるマルチモーダル統合戦略
後期融合
各モダリティがモデルの最終層まで独立して処理され、最終決定のために表現を融合するマルチモーダルアプローチ
クロスモーダルアライメント
共通の表現空間内で異なるモダリティ間の意味的対応関係を確立することを目的とした学習プロセス
視覚言語エンコーディング
視覚入力とテキスト入力を同時にベクトル表現に変換し、共同処理のために互換性を持たせるメカニズム
クロスモーダルアテンション
モデルが他のモダリティに対する情報の重要度を動的に重み付けできるアテンションメカニズム
マルチモーダル埋め込み
複数のモダリティからの情報を共有された意味空間でエンコードする密なベクトル表現
マルチモーダルゼロショット学習
特定のトレーニング例なしに新しいタスクやモダリティの組み合わせに一般化するマルチモーダルモデルの能力
マルチモーダルトークン化
異なるモダリティ（画像、音声、ビデオ）をTransformerアーキテクチャと互換性のあるトークンシーケンスに変換するプロセス
マルチモーダル対比事前学習
正のマルチモーダルペア間の類似性を最大化し、負のペアの類似性を最小化する自己教師あり学習手法
共通潜在空間への射影
異なるモダリティの表現空間を統一されたベクトル空間に整列させる線形または非線形変換
ハイブリッドエンコーダ・デコーダアーキテクチャ
モダリティごとの専門エンコーダと統合デコーダを組み合わせ、マルチモーダル出力を生成する構造
マルチモーダルファインチューニング
事前学習済みマルチモーダルモデルを特定タスクに適応させつつ、モダリティ間処理能力を維持するプロセス
マルチモーダルプロンプトエンジニアリング
テキストと他のモダリティを組み合わせた入力を最適化し、マルチモーダルモデルを望ましい出力へ効果的に導く技術
マルチモーダル連鎖思考推論
複数モダリティからの証拠を統合し、明示的な推論ステップを生成するモデルの能力
マルチモーダル条件付き生成
他のモダリティで提供された条件や制約に基づいて、対象モダリティでコンテンツを作成するプロセス
中間融合
モダリティがニューラルネットワークの中間レベルで複数回融合されるマルチモーダル統合戦略。
マルチモーダルトランスフォーマー
異なるモダリティからのシーケンスを同時に処理し、適応したアテンション機構を持つTransformerアーキテクチャの拡張。