BERT及其变体

XLM-RoBERTa

RoBERTa的多语言版本，在100种语言上进行预训练，使用大规模的Common Crawl数据集。通过改进的预训练和更好的低资源语言处理能力，超越了XLM和mBERT。

← 返回