AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
KV Cache
推理优化技术，缓存先前令牌的键（keys）和值（values），以避免在每个新令牌生成时重新计算注意力状态。
術語
RLHF（基于人类反馈的强化学习）
一种对齐范式，通过使用源自人类偏好的奖励进行强化学习来微调模型，以校准其行为。
術語
多头注意力机制
注意力机制的扩展，其中多个头在投影的不同子空间上并行计算注意力表示，使模型能够关注序列的多个方面。
術語
仅解码器（Decoder-Only）
仅由带有因果掩码的解码器块组成的Transformer架构，针对自回归语言建模和生成任务进行了优化。
術語
概率密度建模
语言模型的基本目标，学习估计序列中每个位置的条件概率P(token_t | tokens_<t)。
🔍