Глоссарий ИИ
Полный словарь искусственного интеллекта
Федеративное обучение
Распределенный подход к машинному обучению, при котором модели обучаются на локальных данных без их централизации, сохраняя конфиденциальность данных при совместной работе над глобальной моделью.
Безопасная агрегация
Криптографический протокол, позволяющий безопасно объединять обновления моделей от множества клиентов, предотвращая доступ сервера к индивидуальным обновлениям клиентов.
Сжатие градиентов
Техника уменьшения размера градиентов, передаваемых между клиентами и сервером, с использованием методов квантования или выборки для минимизации использования пропускной способности.
Адаптивное квантование
Метод сжатия, который динамически регулирует уровень точности градиентов в зависимости от их статистической значимости, оптимизируя компромисс между точностью и объемом коммуникации.
Асинхронная коммуникация
Парадигма коммуникации, при которой клиенты могут отправлять свои обновления независимо от других, сокращая время ожидания и повышая общую эффективность федеративной системы.
Обрезка градиентов
Техника, заключающаяся в передаче только наиболее значимых градиентов путем исключения тех, чья величина ниже заданного порога, что значительно сокращает сетевой трафик.
Энтропийное кодирование
Метод сжатия, который использует статистические свойства распределений градиентов для более эффективного кодирования информации, минимизируя размер передаваемых данных.
Стратегия выбора клиентов
Алгоритм, оптимизирующий выбор участников для каждого раунда обучения на основе таких факторов, как качество соединения, вычислительная мощность и релевантность локальных данных.
Взвешенная Агрегация по Важности
Техника агрегации, которая присваивает различные веса обновлениям клиентов в зависимости от качества их данных и их вклада в улучшение общей модели.
Дифференциально Приватная Коммуникация
Подход, добавляющий контролируемый шум к коммуникациям для гарантии дифференциальной приватности, защищая таким образом индивидуальную информацию при сохранении полезности агрегированной модели.
Инкрементальная Передача Модели
Стратегия, при которой передаются только различия между последовательными версиями модели, значительно уменьшая объем данных, обмениваемых между раундами обучения.
Оптимизация Пропускной Способности
Совокупность техник, направленных на минимизацию использования сетевой пропускной способности при сохранении сходимости модели, включая сжатие, выборку и интеллектуальное планирование.
Разреженная Коммуникация
Метод, состоящий в передаче только части параметров модели или градиентов, отобранных по их важности, для резкого уменьшения объема коммуникации.
Иерархическая Система Коммуникации
Сетевая архитектура, организованная на нескольких уровнях, где агрегация происходит постепенно через промежуточные узлы, уменьшая таким образом нагрузку на центральный сервер.
Адаптивный Протокол Коммуникации
Механизм, который динамически настраивает частоту и объем коммуникаций в зависимости от качества сети, сходимости модели и доступных ресурсов.
Предварительная Локальная Агрегация
Техника, при которой клиенты выполняют несколько шагов локальной оптимизации перед коммуникацией, уменьшая таким образом количество раундов, необходимых для достижения сходимости.
Сжатие Модели посредством Дистилляции Знаний
Метод, при котором компактная модель обучается имитировать предсказания более крупной модели, уменьшая размер передаваемой модели при сохранении её производительности.
Оптимизация Задержки
Совокупность стратегий, направленных на минимизацию задержек связи в федеративных системах, включая параллелизм, прогнозирование сети и интеллектуальное планирование.
Сжатое Тензорное Кодирование
Продвинутая техника сжатия, использующая тензорную структуру градиентов и весов для значительного уменьшения их размера при передаче без существенной потери информации.
Устойчивая к Потерям Связь
Протокол, разработанный для устойчивости к потере пакетов и частым отключениям в нестабильных сетевых средах, гарантирующий сходимость несмотря на несовершенство коммуникаций.