AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
编码器-解码器
双向架构，其中编码器处理输入序列，解码器生成输出序列。这种结构支持转换任务，如机器翻译或文本摘要。
術語
掩码注意力
注意力机制，其中某些位置被屏蔽以防止模型访问未来信息。在解码器中至关重要，以确保推理过程中的自回归生成。
術語
逐位置前馈网络
以相同且独立的方式应用于序列中每个位置的神经网络。在注意力机制之后通过引入非线性来转换表示。
術語
注意力权重
通过softmax归一化的分数，用于确定在计算注意力时每个元素的相对重要性。这些权重用于加权值的线性组合。
術語
Dropout层
正则化技术，在训练期间随机禁用神经元以防止过拟合。在Transformer中应用于注意力和前馈层之后。
🔍