Self-Supervised Pre-training

Multi-Modal Pre-training

Pré-entraînement sur plusieurs types de données (texte, image, audio) simultanément pour créer des représentations unifiées améliorant les capacités de transfert cross-modal.

← Retour