人工知能の完全辞典
時系列平滑化技術で、最近の観測値により重みを付けつつ、過去の観測値の記憶を維持するもの。RMSpropでは、最近の反復における勾配の二乗の平均を推定するために使用される。
各変数に関する偏微分のベクトルで、最も急激な増加の方向を示す。最適化では、負の勾配が損失関数の最も急激な減少方向を指す。
損失関数にL2正則化項を追加して大きな重みにペナルティを課す正則化技術。過学習を防ぎ、より小さな重みを持つより単純なモデルを促進するのに役立つ。