NLP के लिए पूर्व-प्रशिक्षण

ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements)

दो-चरणीय पूर्व-प्रशिक्षण दृष्टिकोण जहां एक जनरेटर टोकन को बदलता है और एक डिस्क्रिमिनेटर बदले गए टोकन की पहचान करता है, जो पारंपरिक MLM से अधिक कुशल है।

← पीछे