マルチモーダルトランスフォーマー

Oscar (Object-Semantics Aligned Pre-training)

検出されたオブジェクトラベルをセマンティックアンカーとして導入し、テキストと画像を整列させる事前学習アプローチで、マルチモーダル理解を大幅に向上させます。

← 戻る