Глоссарий ИИ
Полный словарь искусственного интеллекта
Прогрессивные сети
Архитектура нейронных сетей, которая добавляет новые столбцы для каждой новой задачи, сохраняя при этом знания о предыдущих задачах. Этот подход позволяет осуществлять непрерывное обучение без катастрофического забывания.
Боковые связи
Боковые связи, которые соединяют столбцы предыдущих задач с новыми столбцами в архитектуре Прогрессивных сетей. Они обеспечивают передачу знаний и повторное использование изученных признаков.
Архитектура на основе столбцов
Организационная структура, в которой каждая задача имеет свой собственный отдельный, но взаимосвязанный нейронный столбец. Эта архитектура облегчает расширение модели для новых задач без нарушения существующих знаний.
Прямой перенос
Феномен, при котором знания, полученные при выполнении предыдущих задач, улучшают производительность на новых задачах. Этот положительный перенос оптимизируется боковыми связями в Прогрессивных сетях.
Обратный перенос
Способность модели ретроспективно улучшать производительность на предыдущих задачах после изучения новых задач. Прогрессивные сети облегчают эту двунаправленную передачу знаний.
Сохранение знаний
Механизм, гарантирующий, что знания, полученные при выполнении предыдущих задач, не ухудшаются при изучении новых задач. Это сохранение является фундаментальным в непрерывном обучении.
Адаптеры для конкретных задач
Специализированные модули, вставляемые в архитектуру для адаптации общих признаков к конкретным требованиям каждой задачи. Эти адаптеры обеспечивают оптимальную гибкость, сохраняя при этом общие знания.
Расширение ёмкости
Стратегия динамического увеличения ёмкости модели путём добавления новых нейронных столбцов для размещения новых задач. Это контролируемое расширение позволяет избежать истощения ресурсов.
Нейропластичность
Способность нейронных сетей адаптироваться и изменять свои связи в ответ на новую информацию. В прогрессивных сетях эта пластичность контролируется для сохранения существующих знаний.
Синаптический интеллект
Метод непрерывного обучения, который выявляет и защищает важные синаптические связи для предыдущих задач. Этот синаптический интеллект интегрирован в механизмы сохранения знаний.
Консолидация эластичных весов
Техника регуляризации, которая штрафует за значительные изменения синаптических весов, важных для предыдущих задач. Этот эластичный подход позволяет найти компромисс между обучением и сохранением.
Синапсы, осведомленные о памяти
Подход, который оценивает важность каждого синапса на основе его вклада в прошлые задачи для управления будущим обучением. Эта мнемоническая осведомленность оптимизирует перенос знаний.
Градиентная эпизодическая память
Механизм хранения и извлечения примеров из предыдущих задач для борьбы с катастрофическим забыванием. Эта эпизодическая память направляет градиенты при изучении новых задач.
Динамическое расширение архитектуры
Процесс автоматического добавления новых нейронных ресурсов, когда модель достигает своей максимальной емкости. Это динамическое расширение необходимо для систем непрерывного обучения.
Многозадачное представление
Общее признаковое пространство, которое захватывает информацию, общую для нескольких задач одновременно. Эти многозадачные представления оптимизируются в архитектуре прогрессивных сетей.