Глоссарий ИИ
Полный словарь искусственного интеллекта
Оптимизация гиперпараметров
Автоматизированный процесс поиска наилучших гиперпараметров для модели обучения с использованием таких техник, как байесовская оптимизация, случайный поиск или мета-обучение.
Пространство конфигураций
Структурированное множество всех возможных комбинаций гиперпараметров для алгоритма обучения, включая ограничения, зависимости и допустимые области значений.
Суррогатная модель
Приблизительная модель, используемая в байесовской оптимизации для оценки дорогостоящей в вычислении функции производительности, позволяющая эффективно исследовать пространство гиперпараметров.
"Тёплый старт" (Warm-Starting)
Техника инициализации оптимизации гиперпараметров с использованием знаний из схожих задач или предыдущих оптимизаций для ускорения сходимости.
Базовый алгоритм (Base-Learner)
Модель машинного обучения, гиперпараметры которой оптимизируются системой мета-обучения, служащая целью для рекомендаций по конфигурации.
Мета-обучение на основе производительности
Подход, который использует исторические данные о производительности конфигураций на различных задачах для обучения предсказанию наилучших конфигураций для новых схожих задач.
Многофиделитарная оптимизация
Стратегия оптимизации, использующая низкозатратные аппроксимации (низкая фиделитарность) для быстрой оценки конфигураций перед валидацией наиболее перспективных с помощью высокофиделитарных оценок.
Мета-набор данных
Структурированная коллекция метаданных о множестве задач обучения, включающая характеристики наборов данных и производительность конфигураций гиперпараметров.
Few-Shot Hyperparameter Optimization
Подход мета-обучения, который позволяет оптимизировать гиперпараметры с очень небольшим количеством оценок на целевой задаче, перенося знания из большого количества исходных задач.
Acquisition Function
Функция, используемая в байесовской оптимизации, управляемой мета-обучением, для балансировки исследования и эксплуатации путем выбора конфигураций гиперпараметров для оценки.