BERTアーキテクチャ

事前学習

大規模コーパス上での教師なし学習段階で、BERTはMLMとNSPを通じて一般的な言語表現を学習します。このステップは、タスク固有のファインチューニングの前にモデルの知識基盤を確立します。

← 戻る