人工知能の完全辞典
テキスト、画像、音声など複数のデータタイプを同時に事前学習し、クロスモーダル転送能力を向上させる統一表現を作成する。
自己教師あり学習において、ラベルなしデータを変換する技術を使用してポジティブビューを作成し、不変表現の学習を強化する。