Parallélisme de Modèles

Sequence Parallelism

Forme de parallélisme qui divise la dimension de séquence des tenseurs d'entrée sur plusieurs accélérateurs, utilisée pour les modèles de type Transformer avec de longues séquences.

← Retour