AdamW

Эпсилон стабилизации

Маленькая константа, добавляемая к знаменателю для избежания деления на ноль и обеспечения численной стабильности при нормализации градиентов.

← Назад