Глоссарий ИИ
Полный словарь искусственного интеллекта
Функциональный градиентный спуск
Техника оптимизации, которая корректирует параметры модели в направлении, противоположном градиенту функции потерь в функциональном пространстве.
Машины градиентного бустинга (GBM)
Класс алгоритмов, реализующих метод градиентного бустинга с различными функциями потерь и слабыми обучающимися.
Бэггинг против бустинга
Фундаментальное различие, где бэггинг обучает модели независимо параллельно, в то время как бустинг строит их последовательно, исправляя ошибки.
Градиент функции потерь
Частная производная функции потерь по отношению к предсказаниям, указывающая направление наибольшего возможного улучшения.
Регуляризация в GBM
Совокупность техник (L1/L2, ограничения деревьев, сжатие), контролирующих сложность модели для предотвращения переобучения.
Метод Ньютона в GBM
Вариант градиентного бустинга, использующий матрицу Гессе (вторую производную) для более оптимальных обновлений параметров.