NLPの事前学習

ELECTRA (Efficiently Learning an Encoder that Classifies Token Replacements)

ジェネレータがトークンを置換し、識別器が置換されたトークンを特定する2段階の事前学習アプローチ。従来のMLMよりも効率的です。

← 戻る