Глоссарий ИИ
Полный словарь искусственного интеллекта
Температура дистилляции
Гиперпараметр температуры, применяемый в функции softmax для контроля смягчения вероятностей модели учителя, что позволяет модели-ученику изучать взаимосвязи между классами, выходящие за рамки наиболее вероятных предсказаний.
Послойная дистилляция
Техника дистилляции, при которой промежуточные представления каждого слоя учителя передаются соответствующим слоям ученика, обеспечивая последовательное обучение признакам на всех уровнях абстракции.
Контрастная дистилляция
Техника, использующая контрастные пары для улучшения качества дистилляции, при которой ученик одновременно учится имитировать учителя и отличаться от отрицательных образцов.
Межархитектурная дистилляция
Метод передачи знаний между моделями различных архитектур, например, дистилляция трансформера в архитектуру CNN или RNN, обеспечивающий гибкость при целевом развертывании.
Обрезка знаний
Комбинированный процесс обрезки параметров и дистилляции, при котором наименее важные веса удаляются из модели, а затем дистилляция компенсирует потерю производительности, вызванную обрезкой.
Динамическая дистилляция
Адаптивный подход, при котором сила дистилляции и выбор целей динамически корректируются во время обучения в зависимости от прогресса ученика и сложности образцов.
Zero-shot дистилляция
Техника, позволяющая дистиллировать модель учителя без явно размеченных обучающих данных, используя неявные знания или синтетические данные, генерируемые учителем.
Дистилляция с учетом отношений
Усовершенствованный метод, при котором ученик учится не только индивидуальным предсказаниям учителя, но и структурным отношениям между различными частями данных, захватывая сложные зависимости.
Дистилляция с учетом сжатия
Стратегия, интегрирующая аппаратные ограничения сжатия (квантование, разреживание) непосредственно в процесс дистилляции для оптимизации производительности финальной модели после сжатия.