AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
ALiBi（带线性偏置的注意力）
一种替代传统位置编码的方法，根据位置之间的距离向注意力分数添加线性偏置，从而实现对更长序列的更好外推。
術語
位置偏置
应用于注意力分数的加法或乘法项，用于考虑注意力机制中标记之间的位置关系。
術語
序列位置嵌入
一种向量表示，显式编码序列中每个元素的位置，使模型能够理解数据的顺序。
術語
时间编码
专门设计用于捕获时序数据时间依赖关系的位置编码变体，整合了时间和持续时间的概念。
術語
连续位置编码
一种编码方法，允许连续的位置表示，可以在离散位置之间进行插值并处理分数位置。
術語
固定位置编码
一种位置编码类型，其中嵌入是预先确定的，在训练过程中不修改，基于固定的数学公式如正弦函数。
術語
自适应位置编码
一种位置编码方法，可动态适应输入序列的长度，从而更好地泛化到可变序列长度。
術語
位置插值
一种将预训练模型适应更长序列的技术，通过对现有位置嵌入进行线性插值，而不是外推新的嵌入。
術語
NTK-Aware位置插值
位置插值的改进变体，保持非均匀傅里叶变换（NTK）的特性，以更好地保留高频信息。
術語
xPOS（缩放位置编码）
一种位置编码方法，使用指数缩放来更好地捕捉长距离依赖关系，同时保留局部位置信息。
術語
T5的相对位置偏置
T5模型中使用的特定相对位置偏置实现，其中偏置针对不同token之间的相对距离在注意力分数中进行学习。
術語
Transformer-XL位置编码
一种循环位置编码机制，通过重用先前片段的隐藏状态并结合相对位置编码，实现对长距离依赖关系的建模。
🔍