BERTとそのバリエーション

ELECTRA

マスク言語モデリングの代わりに破損したトークンの置換を使用する効率的な事前学習アーキテクチャ。置換されたトークンを識別する識別子を使用し、より高速で高性能な学習を可能にする。

← 戻る