AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
编码器堆栈
由相同的层堆叠而成，将输入序列转换为丰富且具有上下文的表示，每一层都包含注意力和前馈网络。
个术语
解码器堆栈
由生成输出序列的层组成的架构，使用掩码注意力防止未来信息泄露，并使用与编码器的交叉注意力。
个术语
编码器-解码器注意力
一种机制，允许解码器访问并专注于编码器的表示，从而以知情的方式生成每个输出标记。
个术语
层归一化
一种稳定训练的技术，对每个位置的激活进行归一化，应用于 Transformer 架构中子层之前或之后。
个术语
掩码自注意力
自注意力的一种变体，用于解码器中，其中未来的位置被掩码，以防止在生成时使用不可用的信息。
个术语
缩放点积注意力
一种注意力计算，通过键维度的平方根对点积进行归一化，以在训练期间稳定梯度。
个术语
注意力头
多头注意力中的独立子空间，每个子空间学习专注于数据中不同类型的关系和模式。
个术语
标记嵌入
每个输入标记的密集且连续的向量表示，是 Transformer 架构在添加位置信息之前的起点。
🔍