AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
语言模型
一种统计或神经的系统，用于计算词汇序列在某种语言中出现的概率。这些模型从大量文本语料库中学习上下文和语法依赖关系，以生成或评估自然语言。
術語
Transformer架构
一种基于注意力机制的神经网络架构，并行处理序列而不依赖时间顺序。Transformer因能够捕捉长距离依赖关系而彻底改变了语言模型。
術語
GPT
基于仅从左到右解码的Transformer架构的生成式语言模型家族。GPT模型专门用于生成连贯文本和序列补全。
術語
N-grams
基于马尔可夫假设的统计语言模型，即一个词的概率仅依赖于前面的n-1个词。N-grams是神经网络时代之前语言模型的传统方法。
術語
RNN
一种循环神经网络，通过维护随每个标记演变的隐藏状态来处理序列。RNN是最早应用于语言模型以捕捉时间依赖关系的神经网络架构之一。
術語
LSTM
RNN的高级变体，使用遗忘门和记忆门来处理长距离依赖关系。LSTM克服了传统RNN在语言建模应用中的梯度消失问题。
術語
因果语言模型
仅基于序列中前面的词来预测下一个词的训练模型。因果模型特别适合文本生成和补全任务。
術語
掩码语言模型
使用完整的双向上下文来预测序列中被掩码词的训练模型。这种方法为分析和分类任务提供了更好的上下文理解。
🔍