AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
DistilBERT（蒸馏BERT）
通过知识蒸馏创建的BERT轻量版本，仅使用40%的参数即可保持BERT基础版97%的性能，实现更快的推理速度。
術語
位置嵌入
在BERT中添加到词元嵌入的向量，用于编码序列位置，由于注意力机制本身无法捕捉词元顺序，因此位置嵌入至关重要。
術語
BERT-base vs BERT-large
BERT的两种主要配置：基础版（12层，768隐藏维度，1.1亿参数）和大规模版（24层，1024维度，3.4亿参数），用于不同的性能/资源权衡。
術語
BERT微调
通过添加分类层并在目标任务标注数据上训练，将预训练的BERT权重适配到特定任务的过程。
術語
[SEP]标记
BERT中用于分隔不同文本段落的特殊标记（如问答任务或下一句预测任务中的句子对），标记段落之间的边界。
術語
预训练目标
用于在大型未标注语料库上预训练BERT的自监督任务（掩码语言建模和下一句预测），能够学习通用的语言表示。
術語
Transformer编码器堆栈
BERT的基本架构，由多层Transformer编码器组成，每层包含多头注意力机制和前馈网络。
術語
领域特定BERT
在专业语料库上预训练的BERT变体（BioBERT用于生物医学，SciBERT用于科学领域，FinBERT用于金融领域），在这些领域具有更好的性能。
術語
多语言BERT (mBERT)
在104种语言上预训练的BERT版本，具有共享词汇表，能够使用单一模型理解和处理多种语言的文本。
術語
BERT学
致力于分析、解释和改进BERT类模型的研究领域，研究其内部行为和语言能力。
🔍