AI用語集
人工知能の完全辞典
ヘッセ行列
スカラー関数の2階偏微分からなる正方行列で、局所的な曲率情報を含み、収束性を向上させるために使用されます。
ニュートン方向
ヘッセ行列の逆行列を勾配に掛けたものとして計算される探索ベクトルで、局所的な二次近似に基づく最適な降下方向を示します。
ニュートンステップ
Hをヘッセ行列としてx_{k+1} = x_k - H^{-1}(x_k)∇f(x_k)という反復更新で、二次近似を実行し、局所的な部分問題を厳密に解きます。
ニュートン・ラフソン法
非線形方程式の解法として最初に開発されたニュートン法の歴史的版で、後に多次元最適化に一般化されました。
2次テーラー線形化
関数の2次テーラー展開による局所近似で、ニュートン法でのヘッセ行列の使用を正当化する理論的基盤です。
ヘッセ正則化
ヘッセ行列にλI項を追加して正定値性を保証する技術で、ヘッセ行列が悪条件の場合に無効な降下方向を避けます。
準ニュートン法
連続する勾配情報からヘッセ行列またはその逆行列を近似するアルゴリズムのクラスで、2階微分の直接計算コストを回避します。
BFGSアルゴリズム
ヘッセ行列の逆行列の近似を構築し、構造によって正定値性を保証する人気の準ニュートン法（Broyden-Fletcher-Goldfarb-Shanno）です。
DFPアルゴリズム
準ニュートン法の最初の手法（Davidon-Fletcher-Powell）で、対称更新式を使用してヘッセ行列の逆行列を近似し、正定値性を保持する。
ガウス・ニュートン法
非線形最小二乗問題に特化したアルゴリズムで、残差のヤコビ行列をJとして、ヘッセ行列をJ^TJで近似する。
レーベンバーグ・マルカート法
ガウス・ニュートン法と勾配降下法の間を補間するハイブリッドアルゴリズムで、減衰パラメータを使用して正則化を制御する。
臨界点
勾配がゼロになる点（∇f(x*) = 0）で、ニュートン法によって局所的最小値、最大値または鞍点の候補として識別される。
ウルフ条件
線形探索を伴うニュートン法におけるステップ長の選択基準で、適切な曲率を維持しながら十分な関数値の減少を保証する。
線形探索
指定された方向で最適なステップ長を決定する部分問題で、ニュートン法の大域的収束を保証するために不可欠。
切り捨てニュートン法
共役勾配法などの反復法を使用して線形システムH d = -∇fを近似的に解く変法で、大規模問題に適している。
疎ヘッセ行列
主にゼロを含むヘッセ行列で、構造化問題におけるニュートン法で計算上の最適化を可能にする。