AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
位置编码
一种向输入嵌入添加绝对或相对位置信息的技术，使模型能够理解序列中标记的顺序。
个术语
预层归一化
层归一化的一种变体，应用于注意力和前馈子层之前，提高深度Transformer中的训练稳定性。
个术语
后层归一化
层归一化的原始配置，应用于注意力和前馈子层之后，与残差连接结合使用。
个术语
均方根归一化
层归一化的高效变体，仅使用激活的均方根，在保持性能的同时降低计算复杂度。
个术语
编码器-解码器结构
由处理输入序列的编码器和生成输出序列的解码器组成的双向架构，是Transformer模型的基础。
个术语
层归一化epsilon参数
层归一化中添加的数值稳定性参数，用于在计算激活方差时避免除零错误。
🔍