幻方DeepSeek-V2系列模型已在魔搭社区开源

　　魔搭ModelScope社区宣布，DeepSeek-V2系列模型现已在魔搭ModelScope社区开源。

　　据悉，幻方公司在5月6日推出了第二代 MoE 模型 DeepSeek-V2，并开源了技术报告和模型权重，该模型引入了 MLA 架构和自研 Sparse 结构 DeepSeekMoE，以236B 总参数、21B 激活，实际部署在8卡 H800机器上，输入吞吐量超过每秒10万 tokens 输出超过每秒5万 tokens。

　　性能方面，在目前大模型主流榜单中，DeepSeek-V2均表现出色:

　　中文综合能力(AlignBench)开源模型中最强，与GPT-4-Turbo，文心4.0等闭源模型在评测中处于同一梯队

　　英文综合能力(MT-Bench)与最强的开源模型LLaMA3-70B同处第一梯队，超过最强MoE开源模型Mixtral8x22B

　　知识、数学、推理、编程等榜单结果也位居前列

　　支持128K上下文窗口

　　和DeepSeek67B相比，DeepSeek-V2节约了42.5%训练成本，推理的KV Cache节约了93.3%，最大吞吐是之前的576%。

　　DeepSeek-V2的推理代码和模型下载链接已经在魔搭 ModelScope 社区开源，用户可以通过该平台直接下载模型。