Оптимизатор Adam

Beta2

Гиперпараметр Adam, контролирующий скорость экспоненциального затухания для скользящего среднего второго момента (квадрата градиента), обычно устанавливается на 0.999 для стабильной оценки дисперсии.

← Назад