Transformer Optimization

Pipeline Parallelism

Forme de parallélisme de modèle où les couches sont réparties sur différents GPU et traitées en pipeline pour améliorer l'utilisation des ressources.

← Wstecz