Paralelismo de Modelos

Paralelismo de Secuencia

Forma de paralelismo que divide la dimensión de secuencia de los tensores de entrada en múltiples aceleradores, utilizada para modelos tipo Transformer con secuencias largas.

← Volver