AdaDelta

履歴の蓄積

過去の勾配情報を蓄積・累積し、学習率を動的に適応させるプロセス。AdaDeltaでは、学習率の無限の減衰を避けるため、この蓄積はスライディングウィンドウに制限されています。

← 戻る