Глоссарий ИИ
Полный словарь искусственного интеллекта
Разделение весов
Метод, при котором несколько нейронных связей используют одни и те же параметры для значительного сокращения количества уникальных весов.
Низкоранговая факторизация
Разложение матриц весов в произведения матриц более низкого ранга для сжатия плотных слоев сети.
Тензорная декомпозиция
Продвинутая техника факторизации сверточных тензоров весов в более простые тензоры для снижения вычислительной сложности.
Разреженное кодирование
Представление активаций с множеством нулевых коэффициентов, позволяющее эффективное сжатие и ускоренное вычисление.
Кодирование Хаффмана
Алгоритм сжатия без потерь, присваивающий двоичные коды переменной длины весам в соответствии с частотой их появления.
Разделение модели
Разделение модели на сегменты, распределенные между клиентами и сервером для минимизации коммуникации при сохранении конфиденциальности.
Бинаризация параметров
Преобразование весов в бинарные значения (+1/-1) для радикального сокращения памяти и ускорения вычислений на ограниченных устройствах.
Федеративное усреднение
Алгоритм агрегации, взвешивающий локальные обновления моделей согласно размеру клиентских наборов данных для глобальной сходимости.
Коэффициент обрезки модели
Процент весов или нейронов, удаленных из исходной модели, определяющий уровень применяемого сжатия.
Обучение с учетом квантования
Обучение, включающее эффекты квантования для минимизации ухудшения производительности после сжатия.