AI 词汇表
人工智能完整词典
200
个类别
2,608
个子类别
30,011
个术语
个术语
非凸优化
优化过程，其中目标函数具有多个局部最小值和鞍点，使得在高维空间中寻找全局最优解特别复杂。
个术语
鞍点
关键点，其梯度为零但既不是最小值也不是最大值，在高维空间中由于数量众多，成为深度网络优化中的主要障碍。
个术语
关键点
参数空间中损失函数梯度为零的点，包括局部最小值、局部最大值和鞍点。
个术语
逃逸动态
随机优化算法通过梯度噪声逃离鞍点和浅层局部最小值的机制。
个术语
损失地形
基于网络参数的损失函数多维几何表示，以复杂的山谷、山脊和平原地形为特征。
个术语
吸引域
参数空间的一个区域，从该区域出发，优化算法在其动态下不可避免地收敛到一个特定的关键点。
个术语
尖锐与平坦最小值
区分具有高曲率（尖锐）可能泛化能力较差的局部最小值和具有低曲率（平坦）通常对泛化更有利的局部最小值。
个术语
平台现象
训练阶段，算法在低梯度区域停滞，这是深层非凸优化的典型特征，需要特定技术来克服。
个术语
基于动量的优化
一族算法，它融入了基于先前梯度的惯性，以加速收敛并更有效地穿越损失景观中的困难区域。
个术语
临界点分析
对非凸损失景观中临界点的分布和性质进行系统性研究，以理解优化动态。
个术语
带重启的梯度下降
一种优化技术，周期性地在梯度下降和参数部分重置之间交替，以探索不同的吸引盆地。
个术语
无海森矩阵优化
二阶优化方法，避免显式计算海森矩阵，同时利用曲率信息来改善收敛性。
个术语
曲率信息
利用损失函数的二阶导数来指导非凸区域中的优化，并提高收敛的稳定性。
🔍