科技魔方

元象发布MoE开源大模型XVERSE-MoE-A36B

更多场景

2024年09月13日

  作为中国最大的Mixture of Experts(MoE)开源大模型,XVERSE-MoE-A36B的发布标志着中国在AI领域的重大进步,将国产开源技术提升至国际领先水平。

  该模型的性能和效率带来了训练时间的缩短、推理性能的提升,以及降低了AI应用的成本,为中小企业、研究者和开发者提供了更多选择机会。

  XVERSE-MoE-A36B拥有255B总参数和36B激活参数,性能可与超过100B参数的大模型相媲美,实现了跨级的性能跃升。

  MoE架构通过组合多个细分领域的专家模型,打破了传统扩展定律的局限,保持了模型性能最大化,降低了计算成本。

  元象MoE在权威评测中超越了多个同类模型,包括国内千亿MoE模型Skywork-MoE、传统MoE霸主Mixtral-8x22B等。

+1

来源:科技魔方

延展资讯