人工智能完整詞典
位置编码的替代方案，直接在注意力分数中使用线性偏置来表示词元之间的距离。
一种注意力机制，在计算注意力分数时明确分离内容和位置的贡献。
结合多种位置表示尺度的方法，以同时捕获序列的局部和全局结构。
专门应用于位置嵌入的正则化技术，以避免模型对位置信息的过度依赖。