AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
位置编码
一种向输入嵌入添加绝对或相对位置信息的技术，使模型能够理解序列中标记的顺序。
術語
预层归一化
层归一化的一种变体，应用于注意力和前馈子层之前，提高深度Transformer中的训练稳定性。
術語
后层归一化
层归一化的原始配置，应用于注意力和前馈子层之后，与残差连接结合使用。
術語
均方根归一化
层归一化的高效变体，仅使用激活的均方根，在保持性能的同时降低计算复杂度。
術語
编码器-解码器结构
由处理输入序列的编码器和生成输出序列的解码器组成的双向架构，是Transformer模型的基础。
術語
层归一化epsilon参数
层归一化中添加的数值稳定性参数，用于在计算激活方差时避免除零错误。
🔍