Paralelismo de Modelos

Paralelismo de Dados Fragmentado

Combinação do paralelismo de dados e da estratégia ZeRO, onde os pesos do modelo são particionados (fragmentados) entre os trabalhadores, mantendo o paralelismo de dados.

← Voltar