Глоссарий ИИ
Полный словарь искусственного интеллекта
Learning without Forgetting (LwF)
Подход, использующий дистилляцию знаний для сохранения ответов модели на старых данных при изучении новой задачи. Исходная модель выступает в роли учителя, направляя обновленную модель, что предотвращает ухудшение производительности на предыдущих задачах.
Orthogonal Gradient Descent (OGD)
Метод, который проецирует градиент новой задачи на пространство, ортогональное подпространствам градиентов предыдущих задач. Это проецирование гарантирует, что обучение новым задачам не будет мешать направлениям, важным для прошлой производительности.
Dynamical Expandable Networks (DEN)
Фреймворк, который динамически расширяет сеть, добавляя новые блоки и соединения по мере необходимости, а также выборочно повторно активирует или деактивирует существующие соединения. DEN адаптирует емкость модели к новым требованиям без ухудшения предыдущих показателей.
PackNet
Техника регуляризации, которая назначает специфические подсети нейронов для каждой задачи с помощью фиксированных бинарных масок и ограничений разреженности. PackNet позволяет размещать несколько задач в одной сети без помех, разделяя ресурсы.
HAT (Hard Attention to the Task)
Метод, который изучает бинарные маски внимания для каждой задачи, чтобы выбрать активные веса сети, создавая тем самым выделенные пути для каждой задачи. HAT использует регуляризацию для поощрения использования различных подмножеств весов для разных задач.
CWR (Copy Weight with Reinit)
Стратегия, которая дублирует веса модели после обучения каждой задачи и выборочно сбрасывает некоторые веса для обучения новой задаче. CWR сохраняет копию важных весов, позволяя при этом адаптацию для получения новых знаний.
PathNet
Эволюционная архитектура, в которой пути нейронов выбираются и оптимизируются для каждой конкретной задачи с использованием генетических алгоритмов для поиска лучших комбинаций. PathNet позволяет повторно использовать модули, изолируя параметры для каждой задачи.
Sup-Sup (Superposition of Superpositions)
Техника, которая объединяет суперпозицию весов с суперпозицией задач для максимизации использования параметров сети. Sup-Sup позволяет компактной сети хранить и одновременно выполнять несколько задач без забывания.