Adagrad

Гиперпараметр эпсилон

Маленькая константа, добавляемая в знаменатель в Adagrad и его вариантах для обеспечения численной стабильности, избегая деления на ноль, когда сумма квадратов градиентов очень мала.

← Назад