专家混合模型

超容量

MoE模型中的一种现象，其中激活专家的总容量超过标准密集模型的容量，允许有效扩展参数数量而不会按比例增加计算成本。

← 返回