Глоссарий ИИ
Полный словарь искусственного интеллекта
Модель учителя
Крупная предварительно обученная нейронная сеть, служащая источником знаний, вероятностные выходы которой используются для управления обучением модели-ученика.
Модель-ученик
Компактная архитектура модели, оптимизированная для воспроизведения поведения модели учителя, направленная на сохранение производительности при снижении вычислительной сложности.
Прокси-задача
Искусственно созданная предтекстная задача, предназначенная для генерации сигналов обучения с учителем из немаркированных данных, служащая промежуточной целью для самоконтролируемого обучения.
Функция потерь дистилляции
Функция потерь, измеряющая расхождение между распределениями вероятностей модели учителя и ученика, обычно реализуемая с помощью расхождения Кульбака-Лейблера.
Температура softmax
Масштабный параметр, применяемый к функции softmax для смягчения распределений вероятностей, тем самым выявляя отношения между классами, которые выучила модель учителя.
Выравнивание распределений
Техника, направленная на минимизацию расхождения между распределениями вероятностей, предсказанных учителем и учеником, в пространстве признаков или предсказаний.
Предтекстная задача
Вторичная задача самоконтролируемого обучения, разработанная для того, чтобы заставить модель изучать полезные представления, например, предсказание замаскированных частей или реконструкция поврежденных входных данных.