Глоссарий ИИ
Полный словарь искусственного интеллекта
DARTS
Differentiable Architecture Search, пионерский метод, который преобразует дискретную проблему поиска архитектуры в задачу непрерывной оптимизации с использованием дифференцируемых весов архитектуры.
Расслабленная архитектура
Непрерывное представление дискретного пространства архитектуры, где кандидатные операции комбинируются с softmax-весами, позволяя оптимизацию с помощью градиентного спуска.
Веса архитектуры
Непрерывные параметры (обычно обозначаемые как альфа), которые определяют относительную важность каждой кандидатной операции в расслабленной архитектуре и оптимизируются через градиент.
Смешанные операции
Взвешенная комбинация нескольких кандидатных операций (свертка, пулинг и т.д.) в расслабленной архитектуре, где веса определяют вклад каждой операции.
Биуровневая оптимизация
Задача оптимизации на двух уровнях, где веса сети оптимизируются на нижнем уровне, а параметры архитектуры на верхнем уровне, требуя градиентов второго порядка.
Вычислительная ячейка
Базовый повторяемый блок в архитектуре сети, внутренняя структура (соединения и операции) которого автоматически обнаруживается NAS.
Дискретизация архитектуры
Финальный процесс NAS, где расслабленная непрерывная архитектура преобразуется в дискретную путем выбора операции с наивысшим альфа-весом для каждого соединения.
Градиент архитектуры
Градиент потерь валидации относительно весов архитектуры, используемый для обновления структуры сети во время поиска архитектуры.
Суперячейка
Базовая структура, большая, чем простая ячейка, содержащая несколько взаимосвязанных ячеек для увеличения сложности и выразительности пространства поиска.
Прореживание путей (Path pruning)
Техника постепенного отсечения менее важных архитектурных путей на основе их архитектурных весов, что снижает вычислительную сложность во время поиска.
Дифференцируемые skip-соединения
Skip-соединения с обучаемыми весами в расслабленной архитектуре, позволяющие модели динамически решать, использовать ли эти соединения.
Непрерывное пространство поиска
Ослабление дискретного пространства поиска до непрерывной области, где каждая возможная архитектура соответствует точке в этом непрерывном пространстве.
Параметры альфа
Непрерывные переменные в дифференцируемом NAS, которые управляют смешиванием операций на каждом соединении и оптимизируются для нахождения лучшей архитектуры.
Совместная оптимизация
Одновременный процесс оптимизации весов сети и архитектурных параметров, обычно выполняемый поочередно в методах дифференцируемого NAS.
Приблизительный градиент
Техника, используемая для аппроксимации дорогостоящих в вычислении градиентов второго порядка в биуровневой оптимизации, обычно путем игнорирования некоторых членов для повышения эффективности.
Параметры архитектуры
Набор архитектурных весов, которые определяют структуру сети в дифференцируемом NAS, в отличие от весов модели, которые определяют преобразования данных.
Непрерывная релаксация
Математическое преобразование, преобразующее дискретную задачу комбинаторной оптимизации в непрерывную задачу, позволяющее использовать методы оптимизации на основе градиента.
Фаза разогрева
Начальная фаза дифференцируемой архитектурной оптимизации нейронных сетей (NAS), где обучение сосредоточено на весах сети перед началом оптимизации параметров архитектуры.