DeepSeek在开源MoE(Mixture of Experts)模型领域取得了重要进展,继今年1月份开源国内首个MoE模型后,现在发布了第二代MoE模型:DeepSeek-V2。这一新模型在多项性能评测中均展现出色的表现,与GPT-4等闭源模型竞争,同时在成本效益上具有显著优势。
DeepSeek-V2在主流模型评测榜单中表现卓越,尤其在中文综合能力(AlignBench)和英文综合能力(MT-Bench)上,与顶尖闭源模型并驾齐驱。此外,在知识、数学、推理、编程等专业榜单上,DeepSeek-V2也取得了领先位置。
DeepSeek-V2采用了创新的模型结构,提出了MLA(Multi-head Latent Attention)架构,该架构在减少计算量和推理显存方面有显著优势。结合自研的Sparse结构DeepSeekMoE,模型在保持性能的同时,将计算量降至最低。
DeepSeek-V2以较低的显存消耗实现了高性能,其每token成本大幅降低,使得实际部署在8卡H800机器上的输入吞吐量超过每秒10万tokens,输出超过每秒5万tokens。API定价为每百万tokens输入1元、输出2元,价格极具竞争力。
DeepSeek秉持开源精神,将DeepSeek-V2模型和相关论文完全开源,免费商用,无需申请。模型权重可在Hugging Face平台获取,技术报告则发布在GitHub上。
DeepSeek提供了对话官网和开放平台,用户可以在chat.deepseek.com免费开启对话,而DeepSeek API开放平台则提供注册即赠送大量tokens的优惠,以支持优质项目的发展。