AI用語集
人工知能の完全辞典
近接作用素
凸集合への射影を一般化する数学的作用素で、argmin_y{f(y) + (1/2λ)||y-x||²}として定義されます。L1ノルムのような非微分可能な正則化子を持つ最適化問題を効率的に処理できます。
近接関数
近接作用素が well-defined である下半連続な凸関数。L1ノルム、凸集合の指示関数、グループペナルティなどの閉凸関数を含みます。
ISTAアルゴリズム
Iterative Soft-Thresholding Algorithm、L1正則化に特化した近接法。勾配ステップの後にソフトしきい値処理を行い、解のスパース性を課します。
FISTAアルゴリズム
Fast Iterative Soft-Thresholding Algorithm、ISTAの加速版でネステロフの加速手法を使用。L1正則化を持つ凸問題で最適なO(1/k²)の収束率を達成します。
ネステロフ加速
一次勾配法のための加速手法で、慣性メモリ項を使用します。凸問題においてO(1/k)からO(1/k²)へ収束を大幅に改善します。
リプシッツ条件
目的関数の勾配がL-リプシッツ連続であるという仮定で、安定した収束を保証します。近接法で許容される最大ステップサイズを決定します。
モロー・ヨシダ正則化
二次畳み込みによる非微分可能な凸関数の滑らか化手法。モローのエンベロープを通じて元の最小値を保持しながらC1関数を作成します。
構造化問題
近接法によって利用される特定の構造を持つ最適化問題。グループ化正則化、混合ノルム、複雑な構造制約などを含みます。
近接ADMM
近接演算子付き乗数法の交互方向法で、複雑な制約に適用。問題をより単純な部分問題に分解し、乗数を更新しながら交互的に解決します。
線形収束
誤差が反復回数と共に指数関数的に減少する幾何学的収束率。強凸性条件または有界平均二乗誤差条件下で近接法によって達成されます。
可変ステップサイズ
近接法における学習ステップサイズの選択のための適応的戦略。バックトラッキングラインサーチなどの技術は、局所的曲率に応じてλを動的に調整し収束を最適化します。
確率的近接勾配法
大規模問題のためにミニバッチを使用する近接勾配の確率的バージョン。SGDの計算効率と非微分可能正則化項の処理を組み合わせます。
近接不動点
収縮演算子上の不動点反復としての近接法の定式化。リプシッツ条件と適切な凸性条件下で一意な収束を保証します。
複合最適化
滑らかな項と滑らかでない項を組み合わせた複合目的関数の最適化。統計学習と信号処理における近接勾配法の主な応用分野です。