BERT (تمثيلات المُشفر ثنائي الاتجاه)

Pre-training Objectives

مهام ذاتية الإشراف (MLM و NSP) تستخدم لتدريب BERT مسبقًا على نصوص غير موسومة واسعة، مما يسمح بتعلم تمثيلات لغوية عامة.

← رجوع