BERTとそのバリエーション

DeBERTa

コンテンツと分解された位置への注意を統合した改善デコーディングを備えるBERTの改良版。分離された注意メカニズムと改善されたサイズマスキングを使用し、より良いパフォーマンスを達成する。

← 戻る