AI 词汇表

📖

个术语

序列到序列架构

由编码器和解码器组成的深度学习模型，旨在将可变长度序列转换为其他序列。这种架构主要用于机器翻译、文本摘要和对话生成任务。

📖

个术语

强制教学

一种训练策略，解码器接收先前的真实值作为输入，而不是自己的预测，从而加速收敛。这种技术稳定了学习过程，但可能在训练和推理之间产生差异，这种差异被称为暴露偏差。

📖

个术语

掩码

一种程序，通过掩码序列的某些位置来防止模型处理不相关或未来的信息。掩码对于处理可变长度序列以及在自回归训练期间防止作弊至关重要。

📖

个术语

嵌入向量

离散标记的密集向量表示，在连续空间中捕获语义和语法关系。嵌入在训练过程中学习，是序列处理模型的基本输入。

📖

个术语

门控循环单元

LSTM的简化变体，使用两个门（更新门和重置门）以更少的参数调节信息流。GRU提供与LSTM相当的性能，同时在计算上更高效。

📖

个术语

贪心搜索

一种解码策略，系统性地选择每个生成步骤中概率最高的标记。虽然快速，但这种方法可能导致次优解，因为它不考虑替代序列。

📖

个术语

双向性

编码器在两个方向（前向和后向）处理输入序列以捕获完整上下文的能力。双向编码器通过同时考虑过去和未来的上下文来改善语义理解。

📖

个术语

子词嵌入

一种标记化技术，将单词分割成更小的形态单元，允许处理稀有词汇和开放词汇。像BPE或WordPiece这样的子词嵌入已成为现代模型的标准。