AI用語集

📖

用語

BFGS

制約なし関数の最小値を見つけるために逆ヘッセ行列を近似する、反復的準ニュートン最適化アルゴリズム。

📖

用語

ヘッセ行列の近似

直接計算なしに関数の二階微分行列を推定する技術で、勾配情報を使用して反復的な近似を構築する。

📖

用語

近似逆行列

準ニュートン法で段階的に構築されるヘッセ行列の逆行列の近似で、最適降下方向を決定するために使用される。

📖

用語

ラインサーチ

各反復で目的関数を最小化するために、降下方向における最適なステップ長を決定する反復プロセス。

📖

用語

BFGS修正

ヘッセ行列近似の更新公式で、行列の対称性と正定性を保ちながらセカント方程式を満たす。

📖

用語

制限付きメモリ

L-BFGSの戦略で、空間的複雑さを削減するために、ヘッセ行列近似を再構築するために固定数の以前の反復のみを保持する。

📖

用語

超線形収束

BFGS法の特性で、連続誤差の比がゼロに向かい、線形収束より高速だが二次収束より遅い収束を提供する。

📖

用語

セカント方程式

準ニュートン法で課される条件で、ヘッセ行列近似が勾配の差を点の差に正しく変換することを保証する。

📖

用語

スケーリング因子

L-BFGSにおける初期パラメータで、悪条件問題での収束を改善するために初期ヘッセ近似を調整します。

📖

用語

修正ベクトル

L-BFGSに格納されるベクトルのペア（s, y）で、sは変位を表し、yは勾配の差を表し、ヘッセ近似を再構築するために使用されます。

📖

用語

降下方向

逆ヘッセ近似に負の勾配を掛けて計算されるベクトルで、関数を最小化するための最適な方向を示します。

📖

用語

初期ヘッセ行列

準ニュートン法における開始行列で、通常はスケール因子を掛けた単位行列で、逐次反復の基礎として機能します。

📖

用語

二重ループアルゴリズム

完全なヘッセ行列を明示的に再構築せずに降下方向を計算するために二つのループを使用するL-BFGSの効率的な実装です。