AI 詞彙表
人工智能完整詞典
正弦位置编码
使用不同频率的正弦函数创建独特且确定的位置表示方法，无需学习参数。
学习式位置编码
将位置嵌入作为模型可训练参数学习的方法，能够自适应优化到特定的训练数据。
相对位置编码
编码令牌间相对距离而非绝对位置的先进技术，提高了对不同长度序列的泛化能力。
绝对位置编码
传统的位置编码方法，序列中每个位置根据其绝对索引获得唯一嵌入。
旋转位置编码
对查询和键嵌入应用矩阵旋转的创新技术，将位置信息有效集成到注意力机制中。
Alibi位置编码
根据令牌间距离惩罚注意力得分的方法，允许有效外推到更长序列而无需重新训练。
位置嵌入
表示序列中每个令牌位置的稠密向量，与令牌嵌入相加或连接以提供空间或时间位置信息。
带位置编码的注意力
将位置编码集成到注意力机制中，使模型能够根据令牌在序列中的相对位置进行不同的权重分配。
BERT位置嵌入
BERT架构中特定学习的位置编码实现，使用可训练的位置嵌入，最大序列长度固定为512个标记。
GPT位置编码
GPT模型中使用的位置编码系统，最初基于学习的位置嵌入，用于有效建模文本中的方向依赖关系。
Transformer位置编码
原始Transformer架构的基本组件，使用正弦编码使模型能够在没有循环机制的情况下使用标记的顺序。
3D位置编码
将位置编码扩展到三维数据（如体积或视频），在三个空间或时间轴上融入位置信息。
复杂位置编码
使用复数表示位置的先进变体，能够更丰富地建模空间关系和多频率。
分层位置编码
以多个粒度级别编码位置的结构化方法，同时捕获序列中的局部和全局位置。
T5位置编码
T5架构中的特定实现，使用标量位置嵌入加到标记嵌入上，旨在简化架构同时保持性能。
XLNet相对位置编码
XLNet中的复杂机制，在注意力计算中建模标记间的相对距离，能够在不同序列长度上更好地泛化。
DeBERTa分离注意力
DeBERTa中的创新，它明确地分离了注意力机制中的内容和位置，使用分离的位置编码来改善表示。
Longformer位置编码
适用于处理长序列的位置编码系统，结合了全局和局部位置嵌入来优化滑动窗口注意力。
Reformer局部敏感哈希
Reformer中的专门技术，它使用LSH与位置编码来减少在非常长的序列上注意力的计算复杂度。