AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
注意力矩阵
表示序列中所有元素对之间注意力权重的方阵，可视化模型学习到的相互依赖模式。
个术语
编码器-解码器注意力
解码器关注编码器输出的机制，允许在seq2seq模型中生成以源序列为条件的序列。
个术语
掩码自注意力
带掩码的自注意力机制，通过屏蔽未来位置防止元素看到后续信息，在文本生成任务中至关重要。
个术语
Softmax归一化
将注意力分数转换为概率分布的激活函数，确保每个位置的注意力权重总和等于1。
个术语
注意力头
多头注意力的子组件，使用自己的参数执行独立的注意力计算，捕获特定类型的序列关系。
个术语
注意力Dropout
在训练期间应用于注意力权重的正则化技术，通过随机禁用某些连接来防止对注意力模式的过拟合。
个术语
多尺度注意力
注意力机制的变体，同时处理不同时间或空间尺度的依赖关系，组合不同的感受野以实现层次化理解。
🔍