Глоссарий ИИ
Полный словарь искусственного интеллекта
Температура Softmax
Параметр, который управляет формой распределения вероятностей softmax, корректируя уровень неопределённости модели. Высокая температура создаёт более равномерное распределение, в то время как низкая температура генерирует более уверенные и сконцентрированные предсказания.
Распределение сходства
Распределение вероятностей, которое представляет относительные сходства между опорной точкой и положительными/отрицательными примерами. Температура позволяет корректировать концентрацию этого распределения для оптимизации обучения.
Калибровка уверенности
Процесс корректировки предсказательных вероятностей, чтобы они точно отражали реальную вероятность правильности. Масштабирование температуры (temperature scaling) — это эффективный пост-обучающий метод для калибровки моделей глубокого обучения.
Масштабирование логитов
Нормализация логитов перед применением функции softmax для контроля масштаба финальных активаций. Эта техника необходима для стабилизации обучения и улучшения качества изученных представлений.
Отжиг температуры
Стратегия постепенного изменения температуры в процессе обучения, часто начинающаяся с высокого значения и постепенно снижающаяся. Этот подход облегчает начальное исследование и способствует сходимости к более дискриминативным представлениям.
Настройка температуры
Процесс оптимизации параметра температуры для нахождения лучшего компромисса между производительностью и калибровкой. Этот важный этап напрямую влияет на качество изученных представлений и надёжность модели.
Заострение вероятностей
Эффект масштабирования температуры при температуре ниже 1, который концентрирует распределение вероятностей на наиболее вероятных классах. Эта техника улучшает дискриминацию, но может снизить калибровку при неправильном контроле.
Планирование температуры
Стратегия временного изменения параметра температуры во время обучения для оптимизации динамики обучения. Она часто сочетает экспоненциальное или линейное затухание для стабилизации сходимости.