Параллелизм моделей

Параллелизм экспертов

Техника, специфическая для плотных моделей со смесью экспертов (MoE), где различные сети экспертов распределяются на разные ускорители для балансировки вычислительной нагрузки.

← Назад