人工知能の完全辞典
各更新前にデータセット全体で勾配を計算するアルゴリズム。安定した収束を保証するが、計算コストが高い。
与えられた勾配方向において最適なステップサイズを決定する最適化戦略。目的関数を最大限に減少させることを保証する。
共役な探索方向を生成する二次関数のための最適化手法。理論上有限のステップ数で収束することを保証する。