AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
查询-键-值 (QKV)
注意力机制中的三个基本向量，其中Query用于搜索信息，Key标识可用信息，Value包含要提取的信息。
術語
注意力权重
标准化系数，表示每个输入元素的相对重要性，通常在注意力分数上应用softmax后获得。
術語
位置编码
添加到嵌入中的信息，用于指示token在序列中的位置，补偿transformer中缺乏循环的特性。
術語
因果注意力
一种掩码注意力，其中每个位置只能关注之前的位置，主要用于文本生成任务。
術語
注意力分数
在标准化之前，在查询和键之间计算的原始值，量化这两个元素之间的相关性或兼容性。
術語
Softmax标准化
应用于注意力分数的激活函数，将其转换为概率分布，确保权重总和等于1。
術語
注意力头
多头注意力中的单个子机制，每个头学习关注数据中的不同方面或关系。
術語
注意力矩阵
注意力权重的二维表示，显示每个输入元素如何关注序列中的所有其他元素。
術語
核注意力
使用核函数计算注意力权重的方法，允许元素之间更复杂的非线性关系。
術語
稀疏注意力
通过仅考虑最相关的配对来减少计算的注意力连接数量的优化，提高计算效率。
🔍