AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
子類別
注意力机制
使模型能够对数据序列中元素的相对重要性进行加权的数学基础。
5 術語
子類別
自注意力
一种机制，其中序列中的每个元素计算其与同一序列中所有其他元素的注意力。
0 術語
子類別
多头注意力
使用多个注意力头并行扩展注意力，以捕获不同类型的关系。
3 術語
子類別
位置编码
一种将元素序列位置信息嵌入到嵌入向量中的技术，无需使用循环神经网络。
12 術語
子類別
编码器-解码器架构
Transformer 的基础结构，将输入处理（编码器）与输出生成（解码器）分离。
2 術語
子類別
注意力缩放
通过维度的平方根进行归一化，以稳定训练并避免梯度爆炸。
14 術語
子類別
交叉注意力
不同两个序列之间的注意力机制，用于翻译和多模态任务。
8 術語
子類別
稀疏注意力
一种仅在位置子集上计算以降低计算复杂度的注意力变体。
3 術語
子類別
注意力掩码
在注意力计算过程中用于屏蔽某些位置的控制机制，以防止信息泄露。
9 術語
子類別
视觉Transformer
将Transformer架构适配到计算机视觉任务，通过将图像视为patches序列来处理。
9 術語
子類別
高效注意力
一组旨在降低标准注意力的二次复杂度以处理更长序列的优化方法。
2 術語
子類別
分层注意力
一种多级注意力结构，用于捕捉数据中不同层次尺度的关系。
12 術語
🔍