人工智能完整詞典
BERT 中用于区分序列中不同段或句子的额外嵌入，是对词元嵌入和位置嵌入的补充。
一种通过线性插值现有位置，使具有位置编码的预训练模型能够处理更长序列的技术。
模型泛化到训练期间未见过的更长序列长度的能力，这强烈依赖于所使用的位置编码方案。
根据相对位置直接添加到注意力分数的学习偏置参数，是完整位置嵌入的有效替代方案。
一种注意力机制的变体，在相似度计算中显式整合位置信息，从而增强模型的序列意识。