Глоссарий ИИ
Полный словарь искусственного интеллекта
Квантование путем группировки
Техника сжатия моделей, которая группирует похожие веса в кластеры для уменьшения использования памяти с сохранением производительности. Этот подход позволяет получить компактное представление весов с использованием ограниченного количества репрезентативных центроидов.
Квантование K-means
Алгоритм кластеризации, применяемый к квантованию весов нейронных моделей путем разбиения пространства весов на K кластеров. Веса затем представляются центроидами соответствующих кластеров, что снижает требуемую точность.
Кодовая книга
Набор опорных векторов или центроидов, используемых для представления квантованных весов в сжатой модели. Кодовая книга позволяет сопоставить исходные веса с представлениями низкой точности, минимизируя ошибку восстановления.
Центроиды квантования
Репрезентативные точки в центре каждого кластера в пространстве квантования, служащие заменой исходным весам. Эти центроиды оптимизированы для минимизации общей ошибки квантования модели.
Квантование произведений
Продвинутая техника, разбивающая векторное пространство на подпространства и квантующая каждое из них отдельно перед объединением кодов. Этот метод обеспечивает экстремальное сжатие с минимальной потерей информации для моделей большой размерности.
Оптимизированное квантование произведений
Вариант квантования произведений, который применяет линейное преобразование перед разбиением на подпространства для оптимизации распределения весов. Такое предварительное преобразование значительно улучшает качество итогового квантования.
Аддитивное квантование
Подход, при котором векторы аппроксимируются суммой нескольких квантованных кодов из разных кодовых книг. Этот метод обеспечивает лучшую гибкость представления по сравнению с подходами с одной кодовой книгой.
Остаточное квантование
Итеративная техника, последовательно квантующая остатки, не захваченные на предыдущих этапах квантования. Каждая итерация уточняет аппроксимацию, фиксируя оставшиеся ошибки модели.
Иерархическая кластерная квантизация
Метод, организующий веса в древовидную структуру кластеров для эффективного многоуровневого квантования. Эта иерархия позволяет найти регулируемый компромисс между точностью и сложностью хранения.
Квантование подпространств
Техника, разделяющая пространство весов на ортогональные подпространства для независимого квантования каждого измерения. Этот подход снижает вычислительную сложность, сохраняя при этом существенные характеристики модели.
Расстояние Махаланобиса при квантовании
Адаптивная метрика расстояния, учитывающая ковариацию между весами для более информативной кластеризации. Этот подход улучшает качество формируемых групп, учитывая структурные корреляции модели.
Обучение кодовой книги
Процесс оптимизации центроидов для минимизации общей ошибки реконструкции квантованной модели. Этот важный этап определяет окончательное качество сжатия и производительность модели.
Грубый квантователь
Первый уровень квантования, выполняющий грубую группировку весов в крупные кластеры. Этот быстрый этап сокращает пространство поиска для этапов более точного квантования.
Точный квантователь
Уровень детального квантования, работающий в ограниченных подпространствах для точной аппроксимации весов. Этот этап уточняет представление после начальной группировки, выполненной грубым квантователем.
IVF с квантованием
Сочетание инвертированного файлового индекса с методами квантования для эффективного поиска в сжатых моделях. Этот гибридный подход оптимизирует как индексацию, так и компактное представление весов.
PQ-коды
Компактные бинарные представления, полученные в результате квантования произведения для каждого вектора весов. Эти коды позволяют выполнять быстрые сравнения и эффективно хранить данные, сохраняя существенную информацию.
Квантование по решетке
Метод, использующий регулярные геометрические структуры (решетки) для равномерного разбиения пространства весов. Этот подход гарантирует оптимальные теоретические свойства ошибки квантования.