BERT (Bidirectional Encoder Representations)

Pre-training Objectives

Tâches auto-supervisées (MLM et NSP) utilisées pour pré-entraîner BERT sur de vastes corpus non étiquetés, permettant l'apprentissage de représentations linguistiques générales.

← Retour