Paralelismo de Modelos

Paralelismo de Sequência

Forma de paralelismo que divide a dimensão da sequência dos tensores de entrada em vários aceleradores, utilizada para modelos do tipo Transformer com sequências longas.

← Voltar