AI 词汇表

📖

个术语

双向编码器

同时处理整个输入序列的组件，允许每个标记关注所有其他标记（包括过去和未来的标记），以实现完整的上下文理解。

📖

个术语

自回归解码器

一种生成机制，解码器基于先前生成的标记和编码器的上下文表示，逐个标记地生成输出序列。

📖

个术语

交叉注意力机制

解码器中的处理过程，使其能够专注于编码器输出的特定部分，权衡每个输入标记对生成当前输出标记的重要性。

📖

个术语

因果掩码

在解码器中应用的技术，防止每个位置关注未来的位置，从而确保生成的自动回归性质并避免信息泄露。

📖

个术语

前馈网络

在注意力机制之后独立应用于每个位置的全连接神经网络，允许非线性变换和更高维度的投影。

📖

个术语

层归一化

一种正则化技术，通过对每个样本的特征进行归一化来稳定激活，加速收敛并提高模型的整体性能。

📖

个术语

编码器瓶颈

固定维度的向量表示，通常是编码器的最终输出，它压缩了输入序列的所有信息，并作为解码器生成的唯一上下文。

📖

个术语

标记嵌入

高维密集向量，将词汇表中的每个离散标记表示在连续空间中，捕获训练过程中学习的语义和句法信息。