Глоссарий ИИ
Полный словарь искусственного интеллекта
235
категории
2 988
подкатегории
33 628
термины
термины
FSDP (Fully Sharded Data Parallel)
Расширение Data Parallel, в котором параметры, градиенты и состояния оптимизатора полностью распределены (sharded) между процессорами для минимизации использования памяти на GPU.
термины
Distributed Data Parallel (DDP)
Реализация Data Parallel в PyTorch, использующая оптимизированные коммуникации и асинхронную синхронизацию для эффективного масштабирования обучения на нескольких GPU.
🔍