AI用語集

📖

用語

非凸最適化

目的関数が複数の局所解や鞍点を持つ最適化プロセスであり、高次元空間での大域的最適解の探索を特に困難にする。

📖

用語

鞍点

勾配がゼロとなるが最小値でも最大値でもない臨界点であり、高次元空間に多数存在するため、深層ネットワークの最適化における大きな障害となる。

📖

用語

臨界点

損失関数の勾配がゼロとなるパラメータ空間上の点で、局所的最小値、局所的最大値、および鞍点を含む。

📖

用語

脱出ダイナミクス

確率的勾配のノイズを通じて、最適化アルゴリズムが鞍点や浅い局所的最小値から脱出するメカニズム。

📖

用語

損失地形

ネットワークのパラメータに応じた損失関数の多次元的な幾何学的表現であり、谷、尾根、台地の複雑なトポロジーで特徴づけられる。

📖

用語

吸引域

アルゴリズムの動力学下で、特定の臨界点に確実に収束するパラメータ空間の領域。

📖

用語

鋭い最小値と平坦な最小値

曲率が高い（鋭い）局所的最小値（一般化性能が低い可能性がある）と、曲率が低い（平坦な）局所的最小値（一般化において一般的に好ましい）との区別。

📖

用語

プラトー現象

勾配が小さい領域でアルゴリズムが停滞する学習段階であり、深層非凸最適化に典型的で、これを克服するには特定の手法が必要とされる。

📖

用語

運動量に基づく最適化

過去の勾配に基づく慣性を取り入れることで、収束を加速させ、損失ランドスケープの困難な領域をより効率的に通過するアルゴリズムのファミリー。

📖

用語

臨界点分析

最適化のダイナミクスを理解するために、非凸損失ランドスケープにおける臨界点の分布と特性を体系的に研究すること。

📖

用語

再始動付き勾配降下法

異なる吸引域を探索するために、勾配降下とパラメータの部分的な再初期化を周期的に交互に行う最適化手法。

📖

用語

ヘシアンフリー最適化

ヘッセ行列の明示的な計算を回避しつつ、曲率情報を利用して収束を改善させる二次最適化手法。

📖

用語

曲率情報

非凸領域における最適化を導き、収束の安定性を向上させるために、損失関数の二階微分を利用すること。