Глоссарий ИИ
Полный словарь искусственного интеллекта
Поиск по сетке
Метод исчерпывающей оптимизации, который систематически оценивает все возможные комбинации гиперпараметров на предопределенной сетке. Этот подход гарантирует нахождение оптимальной конфигурации, но часто оказывается неэффективным для пространств большой размерности.
Случайный поиск
Техника оптимизации, которая случайным образом выбирает комбинации гиперпараметров в соответствии с заданными распределениями. Она оказывается более эффективной, чем поиск по сетке, для пространств высокой размерности, концентрируя исследование на релевантных областях.
BOHB
Гибридное сочетание байесовской оптимизации и Hyperband, которое интегрирует модель TPE для руководства выбором конфигураций в рамках адаптивного распределения ресурсов. Этот синергетический метод сочетает эффективность байесовского поиска с быстрым исключением Hyperband.
Поиск по дереву Парзена
Вариант байесовской оптимизации, который моделирует распределения гиперпараметров отдельно для хороших и плохих конфигураций. Алгоритм предпочитает выборку в областях, где высокопроизводительные конфигурации более вероятны.
Генетический алгоритм
Метод оптимизации, вдохновленный естественной эволюцией, который развивает популяцию конфигураций через отбор, скрещивание и мутацию. Он особенно подходит для дискретных пространств поиска и проблем с множественными локальными оптимумами.
Оптимизация роем частиц
Метэвристическая техника, которая моделирует социальное поведение роя для исследования пространства поиска. Каждая частица корректирует свою траекторию на основе своего лучшего личного опыта и опыта наиболее успешной окрестности.
Условные гиперпараметры
Гиперпараметры, существование или диапазон значений которых зависит от значений других гиперпараметров, создавая структуру зависимости в пространстве поиска. Их управление требует стратегий оптимизации, адаптированных к иерархическим пространствам.
Многоцелевая оптимизация
Расширение оптимизации гиперпараметров, которое одновременно управляет несколькими часто противоречивыми целями, такими как точность и задержка. Она создает фронт Парето из оптимальных решений, представляющих различные возможные компромиссы.
Трансферное обучение для гиперпараметров
Техника, которая повторно использует знания о производительности гиперпараметров, полученные на предыдущих задачах или наборах данных. Этот подход значительно ускоряет оптимизацию на новых, похожих задачах.
Нейроэволюция
Применение эволюционных алгоритмов для оптимизации архитектур и весов нейронных сетей. Она сочетает гибкость эволюции с мощью глубоких сетей для обнаружения нетрадиционных решений.
Оптимизация на основе градиентов
Подход, при котором гиперпараметры рассматриваются как оптимизируемые параметры и вычисляется их градиент относительно функции потерь модели. Он позволяет эффективно выполнять направленные обновления, но требует дифференцируемых целевых функций.
Иерархическое пространство поиска
Структура пространства поиска, в которой гиперпараметры организованы в уровни зависимости, отражая условные отношения между параметрами. Оптимизация должна учитывать эти структурные ограничения для генерации допустимых конфигураций.
Робастная оптимизация
Парадигма, которая ищет гиперпараметры, обеспечивающие хорошую производительность не только на обучающем наборе данных, но и при будущих изменениях и шуме. Она отдает предпочтение стабильности и обобщению перед агрессивной оптимизацией.