Глоссарий ИИ
Полный словарь искусственного интеллекта
Шум градиента
Неизбежная вариативность оценок градиента, обусловленная стохастическим семплированием мини-батчей, которая может помочь выйти из локальных минимумов. Этот шум характеризуется дисперсией, обратно пропорциональной размеру батча, и уменьшается по мере сходимости.
Vanilla SGD
Базовая версия стохастического градиентного спуска без механизмов ускорения, таких как импульс или адаптация скорости обучения. Vanilla SGD обновляет веса, следуя в направлении, противоположном градиенту, с постоянной скоростью обучения.
Градиентный спуск по полному пакету
Вариант градиентного спуска, использующий весь набор данных для вычисления точной оценки градиента на каждой итерации. Этот подход обеспечивает стабильную сходимость, но сопряжен с непомерно высокими вычислительными затратами для больших наборов данных.