Glosario IA
El diccionario completo de la Inteligencia Artificial
231
categorías
2.999
subcategorías
35.535
términos
términos
FSDP (Fully Sharded Data Parallel)
Extensión del data paralel donde los parámetros, gradientes y estados del optimizador están completamente fragmentados (sharded) a través de los procesadores para minimizar la huella de memoria por GPU.
términos
Distributed Data Parallel (DDP)
Implementación de PyTorch del data paralel que utiliza comunicaciones optimizadas y sincronización asíncrona para escalar eficientemente el entrenamiento en múltiples GPU.
🔍