AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
SAINT
为表格数据专门设计的Transformer类型神经网络架构，集成了样本内和样本间的注意力机制以捕获复杂的依赖关系。
術語
样本内注意力
一种注意力机制，计算表格数据样本内不同特征之间的关系，允许对变量的内在交互进行建模。
術語
样本间注意力
一种注意力机制，评估表格数据集中不同样本（行）之间的关系和相似性，促进全局模式的学习和模型的正则化。
術語
表格Transformer
Transformer架构在表格数据处理中的适应性改造，通常用列的特征替换文本token，并使用针对数据类型的特定编码。
術語
表格位置编码
在表格样本中嵌入特征位置或相对重要性的信息的技术，对于注意力机制区分列至关重要。
術語
注意力正则化
使用样本间注意力权重作为正则化的一种形式，模型基于训练集中的相似样本来学习平滑预测。
術語
查询、键、值投影
应用于特征嵌入的线性变换操作，用于生成注意力计算中使用的查询（Query）、键（Key）和值（Value）张量。
術語
表格注意力得分
衡量一个特征相对于另一个特征的重要性或相关性的度量，计算为查询向量和键向量之间的点积，后接softmax函数。
術語
注意力聚合
通过注意力分数确定权重，对多个特征或样本的信息进行加权组合的过程，以产生丰富的上下文表示。
術語
Transformer层归一化
应用于Transformer中每个子层（注意力或前馈网络）输出的归一化技术，稳定训练并改善模型收敛。
術語
位置前馈网络
独立应用于每个特征表示的全连接模块，使模型能够在注意力机制后学习复杂的非线性变换。
術語
学习的分类编码
将分类变量转换为嵌入向量，其值在训练期间优化的方法，不同于独热编码等静态方法。
術語
高阶特征交互
SAINT模型自动捕获两个以上特征之间复杂非线性关系的能力，无需手动特征工程。
術語
表格数据的线性可分性
对于复杂表格数据通常是无效的假设，证明了使用像SAINT这样非线性模型的合理性，这些模型可以学习更灵活的决策边界。
術語
表格数据中的结构噪声
表格数据集中固有的异常值或不一致性的存在，SAINT的注意力机制可以通过关注最相关的特征来减轻这些影响。
🔍