Глоссарий ИИ
Полный словарь искусственного интеллекта
Архитектура «учитель-ученик»
Фреймворк, в котором модель-учитель обучает модель-ученика, передавая свои неявные знания через мягкие метки и регуляризацию.
Дистилляция карт признаков
Метод передачи знаний на уровне промежуточных представлений модели, а не на уровне финальных предсказаний.
Передача внимания
Передача карт внимания от учителя к ученику для сохранения важных областей, выявленных сложной моделью.
Дистилляция знаний об отношениях
Подход, сохраняющий структурные отношения между обучающими выборками, а не индивидуальные знания.
Самодистилляция
Процесс, в котором модель улучшает сама себя, перенося свои знания в более глубокую или широкую версию самой себя.
Прогрессивная дистилляция
Итеративный метод дистилляции, при котором ученик постепенно становится учителем для еще более компактных моделей.
Онлайн-дистилляция знаний
Подход, при котором несколько моделей обучаются друг от друга в реальном времени без необходимости предварительно обученного учителя.
Междоменная дистилляция
Техника передачи знаний между моделями, работающими в разных доменах, но имеющими схожие базовые структуры.
Непрерывное обучение с помощью дистилляции
Применение дистилляции для сохранения полученных знаний в процессе непрерывного обучения и предотвращения катастрофического забывания.
Дистилляция ансамбля
Сжатие ансамбля моделей в одну компактную модель с сохранением разнообразия коллективных знаний.
Поиск нейронной архитектуры с дистилляцией
Интеграция дистилляции в процесс поиска архитектуры (NAS) для руководства поиском эффективных архитектур с сохранением производительности.
Контрастивная дистилляция знаний
Подход, использующий положительные и отрицательные контрасты для передачи дискриминативных представлений от учителя к ученику.