Глоссарий ИИ
Полный словарь искусственного интеллекта
Масштаб и точка нуля
Фундаментальные параметры квантования, где масштаб определяет коэффициент преобразования между числами с плавающей точкой и целыми числами, а точка нуля представляет собой целочисленное значение, соответствующее нулю в формате с плавающей точкой.
Представление INT8
Формат квантования, использующий 8-битные знаковые целые числа (от -128 до 127) для представления весов и активаций, обеспечивающий оптимальный баланс между точностью и вычислительной производительностью на большинстве аппаратных средств.
Представление INT4
Формат экстремального квантования, использующий 4-битные целые числа (от -8 до 7), который значительно уменьшает размер модели, но вносит заметную потерю точности, требующую применения специализированных методов компенсации.
Распределение активаций
Статистический анализ выходных значений нейронных слоев на калибровочном наборе данных, который имеет решающее значение для определения оптимальных диапазонов квантования и минимизации потери информации.
Динамический диапазон
Разница между минимальными и максимальными значениями активаций или весов, определяющая разрешение квантования и напрямую влияющая на точность квантованной модели.
Смещение квантования
Систематическое отклонение, возникающее при преобразовании в представление с пониженной точностью, которое может быть компенсировано методами статистической настройки во время калибровки.
Таблица поиска (LUT)
Предвычисленная структура данных, хранящая соответствия между квантованными и деквантованными значениями, оптимизирующая операции преобразования во время вывода для ускорения вычислений.
Потеря точности
Измеримое снижение производительности модели из-за уменьшения числовой точности, оцениваемое по таким метрикам, как снижение точности (accuracy) или увеличение ошибки прогнозирования.
Оптимизация весов
Процесс тонкой настройки весов модели после квантования для компенсации возникших ошибок, использующий такие методы, как коррекция смещения или пакетная настройка.
Калибровка Min-Max
Техника калибровки, использующая экстремальные значения, наблюдаемые в наборе данных, для определения диапазона квантования; простая, но чувствительная к выбросам, что может снизить точность.
Калибровка по процентилям
Надежный метод калибровки, использующий процентили (например, 99,9%) вместо экстремальных значений, что позволяет избежать влияния выбросов и оптимизировать использование динамического диапазона.
Послойная квантизация
Подход, применяющий одинаковые параметры квантования ко всем весам слоя, что упрощает реализацию, но может быть неоптимальным для весов с различными распределениями.
Поканальная квантизация
Продвинутая техника, независимо квантующая каждый выходной канал сверточного слоя, лучше сохраняющая точность ценой небольшого увеличения вычислительной сложности.