AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
正弦位置编码
使用不同频率的正弦和余弦函数来创建唯一位置表示的编码方法，使模型能够外推训练时从未见过的更长序列长度。
術語
绝对位置编码
传统方法，序列中的每个位置根据其绝对位置获得唯一且固定的编码，不考虑序列元素之间的空间关系。
術語
旋转位置编码
RoPE技术，根据查询和键的绝对位置对其嵌入应用旋转矩阵，在注意力计算中自然集成位置信息，同时保留平移不变性的特性。
術語
Alibi位置编码
一种通过向注意力矩阵添加静态偏差来惩罚基于token之间距离的注意力分数的方法，可以在不进行复杂架构修改的情况下更好地外推到更长的序列。
術語
复数位置编码
使用复数来表示位置的方法，其中复平面中的旋转编码位置信息，为长序列提供更具表达力和高效的表示。
術語
位置嵌入
表示序列中每个token位置的密集向量，通常与词嵌入维度相同，并在传递给注意力机制之前与词嵌入相加。
術語
固定位置编码
位置编码的一种类型，其中位置表示是预先确定的，在训练过程中不会改变，通常基于正弦/余弦或傅里叶变换等数学函数。
術語
双向位置编码
为左右方向和右左方向使用不同编码的技术，允许模型同时捕获两个方向上的上下文信息，如BERT模型中的情况。
術語
傅里叶位置编码
基于傅里叶级数表示位置的方法，使用不同频率来捕获序列中不同时间或空间尺度的模式。
術語
高斯位置编码
使用以每个位置为中心的高斯函数创建连续平滑编码的技术，对于建模数据中连续位置关系特别有效。
術語
T5位置编码
T5模型中使用的位置编码变体，结合学习的位置嵌入和位置标量，以改进文本生成任务中相对位置的表示。
術語
BERT位置编码
BERT模型中使用的特定实现，基于最大512维学习的位置嵌入，在变换器层之前直接添加到词嵌入中。
術語
GPT位置编码
GPT模型中使用的位置编码系统，最初基于学习嵌入，后来在较新版本中演变为更复杂的变体如RoPE，以实现更好的外推能力。
術語
位置插值
一种外推技术，允许通过插值现有位置编码将预训练模型扩展到更长的上下文，而不是学习新的编码，从而保留已获得的知识。
🔍