Glossário IA
O dicionário completo da Inteligência Artificial
242
categorias
3.306
subcategorias
39.932
termos
termos
FSDP (Fully Sharded Data Parallel)
Extensão do data parallel onde os parâmetros, gradientes e estados do otimizador são totalmente compartilhados (sharded) entre os processadores para minimizar a pegada de memória por GPU.
termos
Distributed Data Parallel (DDP)
Implementação PyTorch do data parallel utilizando comunicações otimizadas e sincronização assíncrona para escalar eficientemente o treinamento em múltiplas GPUs.
🔍