AI用語集
人工知能の完全辞典
Vision-Language Model (VLM)
テキストと画像の同時理解を専門とするマルチモーダルモデルのサブクラスであり、画像キャプション生成、視覚的推論、テキストからの画像生成などのタスクが可能です。
Tokenisation Visuelle
画像をパッチや離散的なトークンのシーケンスに分割する技術。通常、Vision Transformer (ViT) などのニューラルネットワークを通じて行われ、テキストトランスフォーマーのアーキテクチャと互換性を持たせるために使用されます。
Modèle d'Alignement
CLIPのようなコントラスト学習に基づくモデルで、大量の（画像、テキスト）ペアのコーパスで訓練されます。2つのモダリティを共有ベクトル空間に射影し、コサイン類似度がそれらの相互関連性を反映するように学習します。
Génération Conditionnelle Multimodale
異なるモダリティの1つ以上の入力（例：画像の説明、テキストからの画像作成など）に基づいて、出力（例：テキスト、画像）を生成する生成タスクです。
Raisonnement Chaîné Multimodal
複数のモダリティからの情報を利用して論理的な思考の連鎖を構築し、結論に至るモデルの能力です。例えば、グラフとテキストを分析して質問に回答する場合などが挙げられます。
Perceptron Multimodal
異なる性質の入力が、完全結合層で処理される前に、連結や融合操作によって組み合わされる理論上の概念または原始的なアーキテクチャです。
Modèle de Diffusion Multimodal
反復的なノイズ付加とノイズ除去プロセスを利用して、別のモダリティ（例：テキストによる説明）によって条件付けられたデータ（例：画像）を作成する生成アーキテクチャです。ノイズ除去は条件付け情報によってガイドされます。
Encodage Séparé vs Encodage Uni
マルチモーダルモデルにおける2つのアーキテクチャ戦略です。分離エンコーディングは融合前に各モダリティを専用のエンコーダーで処理するのに対し、統一エンコーディングは単一のトランスフォーマーを使用して混合されたトークンシーケンスを処理します。
マルチモーダルゼロショット学習
別のモダリティ（例：クラスラベルのテキスト）から転送された知識を活用することで、特定のモダリティ（例：画像の分類）について明示的にトレーニングを受けていないにもかかわらず、タスクを実行するモデルの能力。
音声・視覚・テキストモデル
ビデオの説明などの複雑なタスクのために、3つのデータストリーム（音、画像、テキスト）を統合する高度なマルチモーダルモデルの形式。モデルは、テキストによるナレーションを生成するために、視覚情報と音声情報を同期して解釈する必要があります。
潜在射影
各モダリティの埋め込みベクトルを、融合または比較の前に共通の潜在空間にマッピングするために使用されるニューラルネットワークの層（多くの場合、単純な線形変換）。
マルチモーダル基盤モデル
大量の異種データで事前学習された超大規模モデルであり、多数の特定のマルチモーダルタスクへの適応（ファインチューニング）の基礎として機能します。
マルチモーダルモデルにおけるモジュール性
各モダリティのエンコーダが個別の交換可能なモジュールであるという設計原則。これにより、モデル全体を再トレーニングすることなく、コンポーネント（例：ビジョンエンコーダ）を更新または置換することが可能になります。
マルチモーダルプロンプティング
モデルが特定の回答を出すように導くために、入力（「プロンプト」）が複数のモダリティ（例：テキストによる質問を伴う画像）で構成されるモデルとの対話技術。