Paralelismo de Modelos

Paralelismo de Expertos

Técnica específica para modelos densos de mezcla de expertos (MoE) donde las diferentes redes de expertos se distribuyen en aceleradores separados para equilibrar la carga computacional.

← Volver