Моментум
История градиентов
Память предыдущих градиентов, используемая для вычисления направления текущего обновления, позволяющая захватывать долгосрочные тенденции спуска. Экспоненциально взвешенная история предпочитает недавние градиенты, сохраняя информацию о предыдущих итерациях.
← Назад