Optimización de Transformers

Optimizador de Redundancia Cero (ZeRO)

Framework de optimización que distribuye los estados del optimizador, gradientes y parámetros en múltiples GPUs para eliminar redundancias de memoria durante el entrenamiento.

← Volver