AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
子類別
自注意力机制
一种基础机制，使变换器能够动态计算序列中每个元素相对于其他元素的相对重要性。
2 術語
子類別
多头注意力
自注意力的扩展，其中多个注意力头并行操作以捕捉数据中不同类型的关系。
4 術語
子類別
位置编码
一种将序列位置信息嵌入到向量表示中的技术，用于弥补Transformer模型中缺乏循环机制的不足。
6 術語
子類別
编码器-解码器架构
原始Transformer的基本结构，结合编码器处理输入和解码器生成输出。
8 術語
子類別
BERT（双向编码器表示）
基于仅编码器架构的预训练模型家族，具有双向上下文理解能力。
10 術語
子類別
GPT（生成式预训练转换器）
专为自回归文本生成优化的仅解码器架构，构成大型语言模型的基础。
5 術語
子類別
视觉变换器（ViT）
将变换器架构应用于图像处理，通过将图像分割成小块并作为序列进行处理。
11 術語
子類別
稀疏注意力机制
通过限制序列元素之间的连接来降低计算复杂度的注意力变体。
2 術語
子類別
交叉注意力
一种注意力机制，其中查询来自一个序列，而键和值来自另一个不同的序列。
2 術語
子類別
Transformer Scaling Laws
描述Transformer模型性能如何随模型规模、数据量和计算量变化的经验法则。
18 術語
子類別
注意力头分析
研究Transformer中不同注意力头的专门化角色以理解其内部工作机制。
19 術語
子類別
分层注意力
一种组织成多个层级结构的注意力架构，用于处理复杂的结构化数据。
9 術語
🔍