AI 词汇表

📖

个术语

因果语言模型

基于Transformer架构的预测性文本生成模型，通过基于先前标记逐个标记生成文本，应用于GPT等模型中。

📖

个术语

掩码语言模型

自监督学习方法，输入中的标记被掩码处理，模型需预测这些标记，实现双向上下文学习。

📖

个术语

视觉Transformer模型

将Transformer架构适配于图像处理，用图像块上的注意力机制替代卷积操作。

📖

个术语

多模态模型

能够同时处理和生成多种数据类型（文本、图像、音频）的Transformer，使用共享嵌入空间。

📖

个术语

标记嵌入

输入标记的密集向量表示，在预训练过程中学习获得，捕获语义和句法信息。

📖

个术语

注意力缩放

控制Transformer模型中注意力分布的参数，影响上下文聚焦的集中或分散程度。

📖

个术语

基于Transformer的扩散模型

将Transformer架构集成到扩散模型的迭代去噪过程中，提升生成的整体连贯性。

📖

个术语

注意力反向传播

通过可视化标记间注意力权重来分析和解释Transformer模型决策的机制。

📖

个术语

基础模型 (Foundation Models)

在大量数据上预训练的大型Transformer模型，作为通过微调或提示进行各种应用的起点。