Глоссарий ИИ

📖

термины

Экспоненциальное скользящее среднее

Техника сглаживания во времени, которая придает больший вес недавним наблюдениям, сохраняя при этом память о прошлых наблюдениях. В RMSprop она используется для оценки среднего квадрата градиентов за последние итерации.

📖

термины

Градиент

Вектор частных производных функции по каждой из ее переменных, указывающий направление наибольшего роста. При оптимизации отрицательный градиент указывает направление наибольшего убывания функции потерь.

📖

термины

Затухание веса

Техника регуляризации, которая штрафует большие веса, добавляя член регуляризации L2 к функции потерь. Она помогает предотвратить переобучение и способствует созданию более простых моделей с меньшими весами.