AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
QKV表示
将输入嵌入投影到三个不同的向量空间：Query（查询）、Key（键）和Value（值），分别用于计算注意力分数、加权权重和生成输出。
个术语
注意力掩码
应用于注意力分数的二元或连续矩阵，用于控制哪些token可以关注其他token，在解码器模型中至关重要，可防止对未来token的作弊。
个术语
注意力Softmax
对注意力分数应用softmax函数，将权重归一化为概率分布，确保每个查询位置的权重之和等于1。
个术语
因果偏置
自回归模型中施加的约束，每个位置只能关注当前和过去的位置，在训练期间屏蔽未来位置。
个术语
输出投影
应用于注意力输出的最终线性变换，将多头注意力的拼接维度映射到后续层所需的期望维度。
🔍