AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
自回归模型
一种生成模型架构，基于所有先前标记预测下一个标记，以迭代和顺序方式构建序列。
術語
上下文窗口
模型可以同时处理的序列最大长度，限制了可用于预测的历史信息量。
術語
下一个标记预测
自回归模型的基本目标，旨在最大化条件概率P(标记_t|标记_1...t-1)。
術語
温度采样
通过调整logits概率分布来控制下一个标记选择中随机程度的生成技术。
術語
Top-k采样
将选择限制在k个最可能标记内的生成方法，避免低概率标记同时保持多样性。
術語
核采样
基于累积概率质量的动态选择策略，根据模型置信度自适应调整候选数量。
術語
束搜索
同时探索多个候选序列以找到全局最可能序列的解码算法。
術語
因果语言模型
一种自回归模型类型，训练基于过去上下文预测未来标记，训练期间无法访问未来标记。
術語
仅解码器Transformer
仅使用带因果掩码的解码器层的神经网络架构，是现代自回归语言模型的首选。
術語
贪婪解码
在每一步都系统性地选择概率最高的标记的生成策略，确保一致性但可能缺乏创造性。
術語
自回归生成
文本生成过程，其中每个生成的标记立即添加到上下文中，以影响后续标记的生成。
術語
语言模型微调
在特定数据上对预训练的自回归模型进行专业化适应的过程，以提高其在目标领域的性能。
術語
零样本学习
自回归模型利用其语言通用知识完成训练期间未见过的任务的能力。
術語
KV缓存
存储先前标记的键值状态的优化机制，以加速顺序自回归生成。
術語
可变序列长度
自回归模型生成不同长度序列的能力，根据生成内容动态调整。
🔍