人工智能完整詞典
在训练过程中学习位置向量的方法，与固定的正弦函数方法相对。
表示序列中标记位置的整数值，用作位置编码计算的基础。
探索Transformer模型在没有任何显式位置编码形式下的性能的实验方法。
将位置编码扩展到二维结构化数据（如图像）的方法，通过编码(x, y)坐标实现。
在自回归解码器模型中使用的位置编码，其中注意力被掩蔽为仅具有因果性（向左）。
一种正则化技术，专门在位置嵌入上应用丢弃层，以避免对位置信息的过度依赖。