Глоссарий ИИ
Полный словарь искусственного интеллекта
Байесовская оптимизация
Вероятностный метод, использующий гауссовские процессы для моделирования целевой функции и эффективного поиска гиперпараметров.
Hyperband и Successive Halving
Подходы к динамическому распределению ресурсов, которые на ранних этапах исключают неудачные конфигурации для оптимизации использования вычислительного бюджета.
Многоцелевая оптимизация
Продвинутые методы для одновременной оптимизации нескольких конфликтующих метрик производительности (например: точность против времени вывода).
BOHB (Байесовская оптимизация HyperBand)
Гибридная комбинация байесовской оптимизации и Hyperband для эффективного поиска с адаптивным распределением ресурсов.
Поиск нейронной архитектуры (NAS)
Автоматическая оптимизация структуры нейронных сетей (глубина, ширина, соединения) в дополнение к классическим гиперпараметрам.
Мета-обучение для гиперпараметров
Подход, который учится на предыдущих оптимизациях для интеллектуальной инициализации поиска по новым задачам.
Оптимизация эволюционными алгоритмами
Методы, вдохновленные естественной эволюцией, использующие мутацию, скрещивание и отбор для исследования пространства гиперпараметров.
Обучение на основе популяции (PBT)
Конкурентная эволюционная техника, которая одновременно использует и исследует, адаптируя гиперпараметры во время обучения.
Оптимизация с ограничениями
Продвинутые методы, управляющие ограничениями на гиперparameters (границы, зависимости, ограничения ресурсов).
Параллельная и распределенная оптимизация
Стратегии параллелизации для ускорения оптимизации путем распределения вычислений на несколько вычислительных ресурсов.
Оптимизация градиентом гиперпараметров
Дифференцируемый подход, позволяющий оптимизировать некоторые гиперпараметры с помощью градиентного спуска, а не дискретного поиска.
Auto-Sklearn и фреймворки AutoML
Полные системы, автоматизирующие оптимизацию гиперпараметров, выбор моделей и предварительную обработку данных.