Глоссарий ИИ
Полный словарь искусственного интеллекта
Скорость сходимости
Мера скорости, с которой алгоритм федеративного обучения достигает оптимального решения или стационарной точки, на которую влияют неоднородность данных и коммуникация между клиентами.
Локальные обновления
Количество итераций оптимизации, выполняемых локально на каждом клиенте перед коммуникацией с центральным сервером, непосредственно влияющее на сходимость и вычислительную эффективность.
Глобальная модель
Агрегированная модель, полученная в результате федерации вкладов всех участвующих клиентов, представляющая коллективные знания распределенной системы.
Сжатие градиентов
Техника уменьшения размера градиентов, передаваемых между клиентами и сервером, путем квантования или выборки, улучшающая эффективность коммуникации при сохранении сходимости.
Дифференциальная конфиденциальность
Теоретическая структура, гарантирующая конфиденциальность путем добавления контролируемого шума к локальным обновлениям, влияющая на компромисс между приватностью и сходимостью федеративной модели.
Византийская отказоустойчивость
Устойчивость системы к злонамеренным или неисправным клиентам, отправляющим некорректные обновления, требующая механизмов обнаружения и агрегации, устойчивых к атакам.
Асинхронное федеративное обучение
Парадигма обучения, в которой клиенты обновляют глобальную модель асинхронно, уменьшая время ожидания, но усложняя анализ сходимости.
Гетерогенность моделей
Управление архитектурной неоднородностью между моделями клиентов в федеративных системах, требующее адаптированных стратегий агрегации для гарантии сходимости.
Анализ сходимости
Теоретическое исследование условий, гарантирующих сходимость федеративных алгоритмов, учитывающее неоднородность данных, сбои и ограничения связи.
Ландшафт оптимизации
Коллективная поверхность потерь в федеративном обучении, характеризующаяся множеством локальных оптимумов из-за не-iid распределения данных между клиентами.
Выборка клиентов
Стратегия выбора подмножества клиентов на каждом раунде обучения, влияющая на скорость сходимости и справедливость представления в глобальной модели.
Момент в федеративном обучении
Техника ускорения сходимости, использующая историю локальных или глобальных градиентов для стабилизации и ускорения оптимизации в распределенных средах.
Гарантии сходимости
Теоретические свойства, обеспечивающие сходимость федеративного алгоритма при определенных условиях, включая границы скорости сходимости и конечного качества модели.
Федеративная оптимизация
Дисциплина, изучающая методы оптимизации, специфичные для ограничений федеративного обучения, сочетающая теорию оптимизации и распределенные системы.
Системная неоднородность
Изменчивость вычислительных возможностей и сетевых характеристик между клиентами, непосредственно влияющая на стратегии сходимости и требующая адаптивных подходов.