AI 詞彙表
人工智能完整詞典
200
類別
2,608
子類別
30,011
術語
術語
AutoInt
深度神经网络架构，旨在通过多头注意力机制自动建模表格数据中的高阶特征交互。
術語
多头注意力机制
允许模型同时关注输入序列不同位置的模块，通过并行学习多个注意力表示来捕获复杂的依赖关系。
術語
高阶特征交互
三个或更多输入变量的非线性组合，其捕获对于提高模型在复杂数据集上的预测能力至关重要。
術語
特征嵌入
分类特征的低维密集向量表示，使模型能够将这些变量作为连续输入处理并学习它们的语义关系。
術語
交互网络
AutoInt内部的子网络，负责在应用注意力机制之前显式计算特征嵌入向量之间的交互。
術語
注意力值
由注意力机制计算的加权分数，用于量化特定特征或交互对模型最终预测的重要性。
術語
注意力池化
使用注意力权重聚合特征表示的操作，产生一个突出最相关信息的上下文向量。
術語
自动交互学习
模型自行发现和优先级化相关特征交互的范式，无需手动工程或先验规范。
術語
查询向量
在注意力机制中，表示模型当前状态的向量，用于计算与每个键向量的兼容性分数。
術語
键向量
某个特征或候选交互的表示，用于与查询向量比较以确定其注意力水平。
術語
值向量
包含某个特征的实际信息的向量，该向量通过注意力分数进行加权并聚合，以形成注意力机制的输出。
術語
缩放点积
在注意力中用于计算分数的相似度函数，其中点积结果除以向量维度的平方根以稳定训练。
術語
残差和层归一化
一种架构技术，其中一层的输出被加到其输入上（残差连接），然后进行归一化，以简化AutoInt等深度网络的训练。
術語
交叉交互
AutoInt中的一种特定操作，它通过逐元素乘法后跟一个线性变换来计算特征对之间的交互。
術語
注意力头
在多头注意力模块中并行运行的多个注意力机制之一，每个头学习关注特征交互的不同方面。
術語
头聚合
对所有注意力头的输出进行拼接或平均以形成统一表示，然后再传递给下一层的过程。
術語
长距离依赖建模
注意力机制捕获嵌入空间中远距离特征之间关系的能力，超越了像CNN这样的局部模型的局限性。
術語
注意力图可解释性
通过分析注意力权重来可视化和理解模型决策的方法，揭示了哪些特征交互最为有影响力。
🔍