大模型新趋势之MoE：现状、挑战及研究方向

　　2024年，全球主流企业加快推出MoE大模型，1-5月发布千亿以上大模型均采用MoE优化架构，且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势，更适合处理大规模数据和复杂任务，已成谷歌、OpenAI、阿里、腾讯等企业控制成本、提升模型性能、应对大模型“价格战”的新方向。

　　MoE的内涵、优势、发展历程及主要玩家

　　MoE（Mixture of Experts，混合专家模型）是一种用于提升深度学习模型性能和效率的技术架构。其主要由一组专家模型和一个门控模型组成，核心思想是在处理任务时只激活部分专家模型，并通过门控模型控制专家模型的选择和加权混合。简言之，MoE在训练过程通过门控模型实现“因材施教”，进而在推理过程实现专家模型之间的“博采众长”。

　　图1 MoE架构原理示意图1

　　MoE的特征优势是专家化、动态化、稀疏化，在模型研发成本、训练/推理效率和整体性能之间实现最佳平衡。一是采用混合专家方法，各专家模型面向不同数据或任务进行针对性建模和处理，提升模型的准确性和专业能力，更好地适应多模态数据及复杂/特定任务计算。二是根据任务的需求灵活选择并组合适宜的专家模型，使得模型能够动态地适应不同的输入样本和任务场景，提高模型的灵活性、可解释性和表达能力。三是只激活或使用部分专家模型，减少不必要的计算，提升模型计算速度并降低算力需求。研究表明，与稠密模型相比，MoE+指令调优仅使用1/3算力就能提升大模型性能约45%，缩短训练时间2，且参数规模越大，效果越好。

　　MoE不是一种全新的技术，与Transformer融合迈过发展“拐点”。早期MoE主要作为一种集成学习方法，用于提升模型预测性能，如谷歌将MoE引入自然语言处理领域，提升机器翻译性能。2020年，谷歌Gshard首次将MoE引入Transformer构建分布式并行计算架构，打开MoE发展新思路。之后，MoE逐渐进入规模发展阶段，作为一种底层架构优化方法，与Transformer结合，陆续被用于推荐系统、自然语言处理、计算机视觉、多模态大模型等领域。

　　图2 MoE模型发展历程

　　基于Transformer的MoE已成大模型主流架构，国内外主流企业差异化推进MoE大模型布局和落地。2024年，全球MoE大模型数量呈爆发增长态势。据公开统计，2024年1-5月全球发布MoE大模型数量约20个，超2021-2023三年总量(约10个)，且以多模态大模型为主(占比约90%)。谷歌、OpenAI、阿里、华为、腾讯等大型企业侧重利用MoE提升大模型性能和实用性。而Mistral AI、昆仑万维、MiniMax、幻方量化等初创企业侧重利用MoE低成本优势抢占AI市场。

　　表1 部分公司MoE大模型布局及发布情况

　　MoE发展仍面临挑战

　　1.训练和微调面临稳定性和可靠性挑战。

　　训练阶段，MoE通过“条件计算”思想引入稀疏性，其将token分配给固定数量专家的离散特性带来专家负载均衡问题，容易导致某些专家被过度利用，而其他专家未被充分利用，从而影响专家的专业化，降低模型性能。虽然这一问题，目前可以通过合并辅助损失函数等来缓解，但仍会导致模型训练不稳定。微调阶段，与稠密模型相比，稀疏模型的微调更容易产生过拟合问题，容易导致泛化能力不足，影响模型整体性能，如拥有1.6T参数量的MoE预训练模型Switch Transformer，在SuperGLUE等常见基准上进行微调时，其整体性能却落后于较小的模型3。

　　2.大规模分布式部署难且通信成本高。

　　一方面，尽管MoE可以在模型参数总量不变的情况下降低计算需求，但仍需要将所有参数加载到内存中。因此，MoE对内存需求很高，需要将超大规模参数模型的专家层分别部署在不同设备以减少内存消耗，实际部署难度很大。另一方面，随着MoE模型的参数规模/复杂度不断提升，模型训练期间的高效通信越来越重要。而模型复杂度与通信开销之间的权衡一直是分布式训练的重大问题4。MoE模型中专家之间的数据交换、并行训练都需要机间all-to-all通信来实现，增加通信成本，且模型规模越大，通信成本越高。因此，在实际部署过程中，需要仔细设计通信策略和优化网络拓扑，降低通信延迟和潜在的网络拥塞。

　　3.MoE架构存在原始缺陷、与现有架构集成难，部分关键技术仍有待攻关。

　　一是MoE仍存在知识混合、知识冗余等原始架构缺陷，容易导致专家同质化严重、专业化能力不足等问题。同时，根植于MoE的超参数调整、专家模型设计及协作、动态性适应数据变化、对数据噪声相对敏感等技术难题仍有待解决。二是MoE架构设计很复杂，涉及网络类型、专家数量选择等多个方面。目前FFN、LSTM、CNN、Attention和LoRA等多种网络架构已被用作专家模型，但各种网络类型专家混合仍属于新兴研究领域。三是将MoE集成到现有模型框架中对于降低现有模型升级成本、推进MoE广泛应用至关重要，但可能会损害模型性能，需要进一步优化并行预训练和推理策略。

　　MoE未来重点研究方向

　　1.通过优化MoE架构、改进门控算法等，提高模型性能和稳定性。

　　一是业界正在加快研发各种新型MoE架构，以提升模型性能或实用性。如清华和微软联合提出MH-MoE5，通过多头机制弥补MoE原始缺陷，实现专家激活率由8.33%提升至90.71% ，提升模型高效扩展能力;华为提出全新LocMoE架构，并将其嵌入盘古大模型，提升模型通用性、可解释性和易移植性等。二是多项研究表明，通过改进门控算法或调整训练策略，能有效提升MoE模型稳定性及性能，如AdvMoE通过算法优化将门控模型和专家模型分开训练，显著提高MoE模型的对抗鲁棒性和整体效率6;普林斯顿大学和Meta AI联合提出一种Lory方法，引入因果分段路由策略和基于相似性的数据批处理技术，提升了模型的效率和专家专业化能力7。

　　2.构建分布式训练系统/软件工具，提升MoE模型训练效率、降低训练门槛。

　　清华团队发布FastMoE、FasterMoE、SmartMoE3等一系列分布式训练系统，相比直接使用PyTorch，FastMoE可将训练速度提升47倍;SmartMoE支持一键实现MoE模型分布式训练，并优化模型训练性能。微软的DeepSpeed9系统提供端到端MoE训练和推理解决方案，结合模型压缩等技术，可提供更快、更便宜的MoE模型推理服务，与同等质量的密集模型相比，可加速4.5倍，成本降低9倍。斯坦福大学、微软和谷歌联合推出的MegaBlocks系统，面向单个GPU上运行多个专家的场景，提升MoE训练效率，与最先进的Tutel库相比，端到端训练速度提升40%。

　　3.利用模型蒸馏、硬件优化等技术，降低MoE模型部署难度。

　　一是通过模型蒸馏、任务级别路由等技术，保留模型性能同时降低模型复杂度。谷歌将Switch Transformer蒸馏回其对应的稠密模型，参数规模降低95%，成功保留了约30-40%的由稀疏性带来的性能提升，加快了预训练速度，且在推理过程中支持使用更小的模型。此外，通过任务级别路由技术将整个句子或任务直接路由到一个专家上面，或提取出用于特定服务的子网络，有助于简化模型结构。二是研究更适合稀疏计算的硬件优化技术，节省内存、加速计算。研究表明，块稀疏Flash Attention注意力机制可以进一步减少GPU内存访问次数，加快计算并节省显存;结合PagedAttention构建vLLM11(一种LLM推理加速系统)，可实现KV缓存零浪费且支持各请求间共享KV缓存，从而降低内存使用，并实现高效内存管理。

　　4.通过系统性优化、共享专家、通信结构设计等，降低通信成本。

　　一是通过系统性优化，平衡模型复杂度与通信开销，如ScMoE12使用一种通信重叠并行策略，克服分布式MoE模型中通信操作的固有依赖性对并行优化的阻碍，实现11%的训练速度提升、15%的推理速度提升，且通信时间仅为8×A800-NVLink场景中标准MoE的15%。二是利用共享专家方法，减少分布式系统之间的数据传输，如DeepSeekMoE13采用共享专家、细颗粒度专家分割等策略，可有效解决MoE中的参数冗余、路由崩溃等问题，且在145B参数下，仅需约28.5%的计算量即可达到DeepSeek 67B的性能水平。三是通过通信结构设计，提升通信效率，如SCoMoE通过结构化全连接通信，鼓励数据跨设备通信，结合标记聚类方法，提升了模型性能和效率。

　　结语

　　MoE为企业带来平衡算力成本和计算效率、加快万亿/十万亿模型参数规模扩展、提升大模型实用性等机遇，但也带来关键技术攻关、大规模工程部署、网络拓扑优化等挑战。未来应持续探索MoE架构设计、相关算法及策略改进、软硬件协同优化等技术，加快推动MoE模型研发和业务赋能。同时，结合MOE模型分布式部署，探索千亿/万亿参数规模大模型跨数据中心分布式训练试点验证。

　　注释

　　1.来源：论文《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》

　　2.参考论文：《Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models》

　　3.参考论文：《St-moe: Designing stable and transferable sparse expert models》

　　4.参考论文：《Gshard: Scaling giant models with conditional computation and automatic sharding》

　　5.参考论文：《Multi-Head Mixture-of-Experts》

　　6.参考论文：《Robust Mixture-of-Expert Training for Convolutional Neural Networks》

　　7.参考论文：《Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training》

　　8.参考论文：《SMARTMoE: Effciently Training Sparsely-Activated Models through Combining Offine and Online Parallelization》

　　9.参考论文：《DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale》

　　10.参考论文：《Flashattention: Fast and memory-efficient exact attention with io-awareness》

　　11.参考论文：《Efficient Memory Management for Large Language Model Serving with PagedAttention》

　　12.参考论文：《Shortcut-connected Expert Parallelism for Accelerating Mixture-of-Experts.》

　　13.参考论文：《Deepspeed-moe: Advancing mixture-of-experts inference and training to power next-generation ai scale.》

　　本文作者

　　赵静

　　战略发展研究所

　　二级分析师

　　硕士，主要从事云网融合关键技术及行业研究，专注于智算、光网络、数字孪生等领域研究。

　　陈元谋

　　战略发展研究所

　　主任分析师

　　硕士，高级工程师，长期从事IP网络、数据中心相关云网技术及行业研究。