Глоссарий ИИ
Полный словарь искусственного интеллекта
Квантование с переменным числом бит
Техника оптимизации нейронных сетей, которая динамически выделяет разное количество битов каждому весу или активации в зависимости от их важности, тем самым уменьшая размер модели при сохранении производительности.
Динамическое распределение битов
Алгоритм, который автоматически определяет оптимальное количество битов для назначения каждому параметру модели, анализируя их чувствительность и влияние на общую производительность сети.
Квантование смешанной точности
Гибридный подход, объединяющий разную числовую точность в одной модели, обычно использующий 8 бит для критически важных слоев и 4 бита или меньше для менее чувствительных слоев.
Квантование с учетом слоев
Метод квантования, который анализирует чувствительность каждого нейронного слоя к снижению точности для оптимизации распределения битов и минимизации ухудшения производительности.
Квантование на основе энтропии
Техника, использующая принципы теории информации для определения оптимального количества битов в зависимости от распределения весов и их информационной энтропии.
Неравномерное квантование
Стратегия квантования, использующая переменные шаги квантования, адаптированные к распределению параметров, что позволяет более эффективно представлять экстремальные и часто встречающиеся значения.
Квантование по важности весов
Метод, который оценивает важность каждого веса в сети с помощью таких метрик, как величина или градиент, выделяя больше битов критическим весам и меньше остальным.
Дифференцируемое квантование
Техника, позволяющая сквозное обучение квантованных моделей с использованием дифференцируемых аппроксимаций классических недифференцируемых функций округления.
Обучаемое квантование
Метод, при котором параметры квантования (разрядность, точки квантования) обучаются совместно с весами модели в процессе обучения для глобальной оптимизации.
Квантование с группировкой
Техника, которая группирует похожие веса и применяет адаптивное квантование к каждой группе, обеспечивая более эффективное представление повторяющихся структур весов.
Многоразрешающее квантование
Подход, применяющий различные разрешения квантования к разным частям тензора, что оптимизирует представление локальных и глобальных характеристик данных.
Квантование на основе распределения
Адаптивный метод, который динамически настраивает стратегию квантования в зависимости от статистического распределения активаций и весов на каждом этапе вычисления.
Квантование с ограничением бюджета
Оптимизация с ограничениями, которая максимизирует точность модели, соблюдая фиксированный общий бюджет битов, и интеллектуально распределяет ресурсы между всеми параметрами.
Прогрессивное квантование
Инкрементальная стратегия, которая начинается с агрессивного квантования и постепенно увеличивает точность критических слоев до достижения оптимального баланса между размером и производительностью.
Квантование по важности активаций
Специализированная техника, которая анализирует и по-разному квантует активации в зависимости от их дисперсии и вклада в распространение градиента в сети.