Методы снижения дисперсии

Memory complexity

Объем памяти, требуемый алгоритмом для хранения информации, необходимой для вычислений. SAG и SAGA требуют памяти O(n) для хранения исторических градиентов, в то время как SVRG требует только O(1) дополнительной памяти.

← Назад