Parallélisme de Modèles

Expert Parallelism

Technique spécifique aux modèles denses à mélange d'experts (MoE) où les différents réseaux d'experts sont distribués sur des accélérateurs distincts pour équilibrer la charge de calcul.

← Retour