BERTとそのバリエーション

BART

BERTとGPTの利点を組み合わせた双方向かつ自己回帰的なTransformerアーキテクチャ。テキスト破損を使用したエンコーダー-デコーダーで事前学習を行い、生成タスクに優れる。

← 戻る