Глоссарий ИИ
Полный словарь искусственного интеллекта
Параллелизм данных
Техника, при которой данные распределяются по нескольким процессорам для выполнения одинаковых операций параллельно.
Параллелизм модели
Подход, при котором различные сегменты нейронной модели размещаются на разных вычислительных устройствах.
Параллелизм Конвейера
Метод, сочетающий параллелизм данных и модели, разделяя модель на этапы, обрабатываемые одновременно.
GPU вычисления и CUDA
Использование графических процессоров и архитектуры CUDA для ускорения вычислений машинного обучения.
Распределенные вычисления с MPI
Интерфейс передачи сообщений, обеспечивающий взаимодействие между процессами для крупномасштабных распределенных вычислений.
Распределенные фреймворки
Платформы, такие как TensorFlow Distributed, PyTorch Distributed и Horovod для распределенного обучения.
Оптимизация связи
Техники для минимизации пропускной способности и задержки при обмене между вычислительными узлами.
Стратегии синхронизации
Синхронные, асинхронные и полуасинхронные методы для координации распределенных обновлений градиентов.
Federated Learning
Федеративное обучение - распределённое обучение, при котором модели обучаются локально на децентрализованных данных без их совместного использования.
Балансировка нагрузки
Алгоритмы для равномерного распределения рабочей нагрузки между доступными вычислительными ресурсами.
Оркестрация ML-контейнеров
Управление контейнерами с помощью Kubernetes и Docker Swarm для развертывания распределенных ML-нагрузок.
Edge Computing для ML
Распределенные вычисления вблизи источников данных для снижения задержки и сохранения конфиденциальности.