Otimização de Transformer

Zero Redundancy Optimizer (ZeRO)

Framework de otimização que distribui os estados do otimizador, gradientes e parâmetros em múltiplos GPUs para eliminar redundâncias de memória durante o treinamento.

← Voltar