মডেল প্যারালেলিজম

Sequence Parallelism

Forme de parallélisme qui divise la dimension de séquence des tenseurs d'entrée sur plusieurs accélérateurs, utilisée pour les modèles de type Transformer avec de longues séquences.

← ফিরে যান