AI用語集
人工知能の完全辞典
確率的ニュートン法
ヘッセ行列を確率的に近似して収束を加速させる最適化アルゴリズム。SGDの計算効率と2次収束の性質を組み合わせている。
L-BFGS (Limited-memory BFGS)
直近のm回の反復のみを使用して逆ヘッセ行列を近似する準ニュートン法の変種。メモリの複雑さを劇的に削減しつつ、2次の利点を維持する。
K-FAC (Kronecker-Factored Approximate Curvature)
フィッシャー行列をより小さな行列のクロネッカー積で近似する2次最適化手法。ディープニューラルネットワークにおいて効率的な計算を可能にする。
自然勾配法
フィッシャー情報量を前処理行列として使用する最適化アルゴリズム。モデルの再パラメータ化に対して不変な収束を保証する。
AdaHessian
ハッチンソンの近似を用いてヘッセ行列の対角成分を推定する適応的最適化アルゴリズム。局所的な曲率に基づいて各パラメータの学習率を調整する。
Shampoo Optimizer
重みテンソルに対してクロネッカー行列の近似を用いて勾配を前処理する2次最適化アルゴリズム。モデルのパラメータ構造に適応的である。
LAMB (Layer-wise Adaptive Moments optimizer)
重みと勾配のノルムを用いて層ごとに学習率を調整する適応的最適化アルゴリズム。Adamの利点とネットワーク構造に特化した適応性を組み合わせている。
Sophia Optimizer
対角ヘッセ行列の推定と確率的モーメント制御を組み合わせる2次最適化手法。局所的な曲率に応じて更新方向を動的に適応させる。
サブサンプルニュートン法
データの部分集合を用いて勾配とヘッシアンを推定するニュートン法の変種であり、局所二次収束性を維持しつつ計算量を削減します。
確率的準ニュートン法
ヘッシアン逆行列の近似を確率的に更新して維持するアルゴリズムのクラスであり、計算コストと収束率のバランスをとります。
対角ガウス・ニュートン法
ガウス・ニュートン行列の対角成分のみを用いるヘッシアンの近似であり、大規模問題における計算コストを大幅に削減します。
TNSR（テンソル正規化二次正則化）
曲率推定に基づいて勾配テンソルを正規化し、二次正則化を適用する手法であり、深層ネットワークの学習を安定化させます。
オンラインニュートンステップ
ヘッシアン逆行列の近似を維持し、逐次的な観測に基づいてパラメータの更新を動的に適応させるオンライン最適化アルゴリズムです。
確率的再帰的勾配アルゴリズム
古典的なSGDの線形計算量を維持しながら、再帰的な手法を用いて二次情報を効率的に近似する手法です。