人工智能完整詞典
一种通过掩码语言建模和下一句预测任务进行预训练的双向Transformer架构，彻底改变了自然语言处理（NLP）领域。
一种预训练任务，模型预测序列中随机掩码的词语，从而强制学习深度的上下文表示。