AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
Transformer
2017年引入的神经网络架构，专门使用注意力机制处理数据序列，彻底改变了自然语言处理领域。
个术语
GPT (生成式预训练Transformer)
由OpenAI开发的自回归语言模型家族，在庞大的文本语料库上预训练，然后针对特定任务进行微调。
个术语
注意力机制
一种允许模型在生成每个输出元素时，对输入的每个部分给予不同权重的技术，从而提高上下文连贯性。
个术语
温度
控制文本生成中随机程度的参数：低温产生更可预测的文本，高温增加创造力但降低连贯性。
个术语
Top-k采样
一种采样方法，将下一个token的选择限制在最可能的k个token中，在生成中平衡多样性和质量。
个术语
核心采样(Top-p)
一种自适应采样技术，选择概率累计超过阈值p的最小token集合，确保根据上下文提供可变的连贯性。
个术语
困惑度
评估语言模型质量的指标，通过测量其预测文本样本的能力来评估，值越低表示预测越好。
个术语
ROUGE分数
评估自动摘要质量的一系列指标，通过比较生成的n-gram与参考文本中的n-gram来评估，主要用于摘要任务。
个术语
提示工程
设计和优化指令以指导语言模型产生所需输出的艺术和科学，充分利用其能力而无需进行技术修改。
个术语
思维链提示
鼓励模型在提供最终答案之前生成逐步推理的提示技术，提高解决复杂问题的能力。
个术语
RLHF（人类反馈强化学习）
一种语言模型对齐方法，使用基于人类评估的奖励强化学习来优化期望的行为。
个术语
自回归模型
一种逐个token生成文本的模型，每个新预测都基于之前生成的所有token，实现连贯的序列创建。
个术语
梯度检查点
通过在反向传播过程中重新计算某些激活值来减少RAM占用的内存优化技术，使更大模型的训练成为可能。
🔍