Глоссарий ИИ
Полный словарь искусственного интеллекта
Пространство гиперпараметров
Множество всех возможных комбинаций гиперпараметров, определенное их областями изменения, ограничениями и соотношениями, в котором работает алгоритм поиска.
SMBO (Последовательная оптимизация на основе модели)
Sequential Model-Based Optimization, общий парадигм, включающий байесовскую оптимизацию, использующий вероятностные модели для последовательного направления поиска гиперпараметров.
Гиперградиентный спуск
Метод оптимизации, который вычисляет градиенты относительно гиперпараметров для их прямого обновления, позволяя более эффективную оптимизацию по сравнению с подходами без градиентов.
Оптимизация на основе многорукого бандита
Подход оптимизации, который формулирует поиск гиперпараметров как задачу многорукого бандита, адаптивно балансируя исследование и эксплуатацию.
Анализ важности гиперпараметров
Систематическое изучение относительного влияния каждого гиперпараметра на производительность модели, позволяющее приоритизировать усилия по оптимизации на наиболее влиятельных параметрах.
Трансферное обучение для гиперпараметров
Техника переноса знаний об оптимальных гиперпараметрах из одной задачи или области в другую, ускоряя тем самым оптимизацию на новых задачах.