Глоссарий ИИ
Полный словарь искусственного интеллекта
FedAvg (Федеративное усреднение)
Фундаментальный алгоритм агрегации в федеративном обучении, который вычисляет взвешенное среднее локальных весов моделей на основе размера клиентских наборов данных для создания глобальной модели.
FedProx (Федеративный проксимальный)
Расширение FedAvg, добавляющее проксимальный регуляризационный член для ограничения локальных обновлений вблизи глобальной модели, тем самым уменьшая гетерогенность клиентов.
SCAFFOLD (Стохастическое контролируемое усреднение)
Продвинутый алгоритм агрегации, использующий контрольные переменные для коррекции смещений дрейфа клиент-сервер и уменьшения влияния гетерогенности данных.
FedBN (Федеративная батч-нормализация)
Метод агрегации, сохраняющий локальные статистики батч-нормализации, специфичные для каждого клиента, при совместном использовании других параметров модели.
FedOpt (Федеративная оптимизация)
Семейство алгоритмов, использующих продвинутые серверные оптимизаторы (Adam, Yogi) для улучшения сходимости в сценариях не-IID федеративного обучения.
FedMA (Федеративное усреднение с сопоставлением)
Нейронный алгоритм агрегации, который сопоставляет и усредняет похожие нейроны между локальными моделями вместо прямой агрегации весов.
FedNova (Федеративное нормализованное усреднение)
Метод, нормализующий локальные обновления по количеству локальных шагов оптимизации для коррекции смещений агрегации в гетерогенных средах.
FedYogi
Адаптивный оптимизатор для федеративного обучения, комбинирующий FedAvg с алгоритмом Yogi для лучшей адаптации к не-IID распределениям данных.
FedAdam
Вариант FedAvg с интеграцией оптимизатора Adam на стороне сервера для динамического управления скоростями обучения и улучшения сходимости.
FedPer (Federated Personalization)
Архитектура, разделяющая модель на глобальную базу и локальные слои персонализации, позволяющая адаптацию под каждого клиента.
FedRep (Federated Representation Learning)
Метод, разделяющий обучение представлений (глобальное) и классификаторов (локальное) для оптимизации производительности на гетерогенных данных.
FedCurv (Federated Curvature)
Алгоритм, включающий информацию о кривизне Фишера для улучшения агрегации в сценариях с высокой гетерогенностью клиентов.
FedSGD (Federated Stochastic Gradient Descent)
Базовый вариант, где клиенты выполняют один проход градиента перед агрегацией, уменьшая локальные вычисления, но увеличивая коммуникацию.
FedDist (Federated Distillation)
Метод агрегации на основе дистилляции знаний, где клиенты делятся своими softmax-выходами вместо весов модели.
FedAdagrad
Комбинация FedAvg с оптимизатором Adagrad на стороне сервера для адаптации скоростей обучения согласно истории градиентов.
FedBN+ (Federated Batch Normalization Plus)
Расширенная версия FedBN, использующая гибридные локальные и глобальные статистики нормализации для баланса между обобщением и персонализацией.
FedMLD (Федеративное Многоуровневое Дистилляция)
Техника дистилляции, применяемая к нескольким слоям модели для эффективной передачи знаний между гетерогенными клиентами.
FedAMP (Федеративное Адаптивное Мульти-Прокси)
Метод, использующий множественные адаптивные прокси для представления различных распределений данных клиентов при агрегации.
FedRL (Федеративное Обучение с Подкреплением)
Парадигма агрегации, специфичная для моделей распределенного обучения с подкреплением, комбинирующая оптимальные локальные политики.
FedCV (Федеративное Компьютерное Зрение)
Набор алгоритмов агрегации, специализированных для моделей компьютерного зрения, обрабатывающих распределенные данные изображений.