التدريب المسبق لمعالجة اللغات الطبيعية

ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements)

نهج تدريب مسبق من مرحلتين حيث يقوم المولد باستبدال الرموز ويقوم المميز بتحديد الرموز المستبدلة، وهو أكثر كفاءة من نموذج القناع اللغوي (MLM) التقليدي.

← رجوع