История градиентов

Память предыдущих градиентов, используемая для вычисления направления текущего обновления, позволяющая захватывать долгосрочные тенденции спуска. Экспоненциально взвешенная история предпочитает недавние градиенты, сохраняя информацию о предыдущих итерациях.

← Назад