Глоссарий ИИ
Полный словарь искусственного интеллекта
Жёсткое разделение параметров
Подход многозадачного обучения, при котором нижние слои сети совместно используются всеми задачами, в то время как только верхние слои специфичны для каждой задачи.
Мягкое разделение параметров
Техника, при которой каждая задача имеет собственную модель с собственными параметрами, но применяется регуляризация для поощрения сходства между параметрами моделей различных задач.
Межзадачная регуляризация
Метод регуляризации, который использует знания исходной задачи для ограничения и улучшения обучения на целевой задаче, снижая переобучение.
Специфичные для задачи слои
Нейронные слои, посвящённые конкретной задаче в многозадачной архитектуре, позволяющие специализацию, одновременно используя общие представления нижних слоёв.
Многоголовая архитектура
Структура нейронной сети с общим стволом и несколькими специализированными головами прогнозирования, каждая из которых оптимизирована для разных задач в многозадачном контексте.
Обучение общим представлениям
Процесс обучения латентным представлениям, которые захватывают полезные характеристики одновременно для нескольких задач, максимизируя передачу знаний между задачами.
Моделирование взаимосвязей задач
Техника, направленная на количественную оценку и явное использование связей между различными задачами обучения для оптимизации совместного использования представлений и улучшения общей производительности.
Прогрессивные нейронные сети
Архитектура, в которой новые нейронные столбцы добавляются для новых задач, сохраняя при этом боковые соединения со столбцами предыдущих задач, избегая катастрофического забывания.
Анализ переносимости
Количественная оценка способности признаков, изученных на исходной задаче, эффективно переноситься на другую, но связанную целевую задачу.
Взвешивание с учетом неопределенности задачи
Метод многозадачной оптимизации, который автоматически взвешивает потерю каждой задачи на основе ее гомоскедастической неопределенности, балансируя обучение между задачами.
Кластеризация задач
Подход, группирующий схожие задачи в кластеры для оптимизации совместного использования представлений, обеспечивая более эффективный перенос внутри групп связанных задач.
Мультимодальное трансферное обучение
Расширение трансферного обучения, где знания передаются между различными модальностями данных (текст, изображение, аудио) для обогащения общих представлений.