科技魔方

零一万物开源Yi-1.5模型 在编码、数学、推理方便表现良好

更多场景

2024年05月13日

  零一万物(01-AI)近日发布了其模型家族的新成员——Yi-1.5(6B、9B、34B),并宣布这些模型均采用 Apache2.0许可开源。Yi-1.5是 Yi 模型的升级版,它在编码、数学、推理和指令遵循能力方面展现出更强的性能,同时保持了在语言理解、常识推理和阅读理解方面的卓越能力。

  主要特点:

  多种规模的模型:提供6B、9B 和34B 三种不同规模的模型,包括基础版和聊天版。

  预训练和微调:基础版在500B tokens 上进行持续预训练,而 chat 版则在300万个样本上进行了微调。

  性能卓越:Yi-1.534B 在基准测试中几乎与 Meta 的 Llama370B 相匹配,且整体效果超过 Qwen1.5-72B。

  评分突出:在 MMLU、HumanEval 和 AGIEval 等基准测试中,34B 模型分别获得了77.1、46.3和71.1的高分。

  9B 模型表现:在类似大小的开源模型中,Yi-1.59B 的表现最佳,与 Mixtral8x7B 相匹配。

  开源可访问:所有模型根据 Apache2.0许可发布,并在 Hugging Face 平台上开源。

  上下文长度:支持长达4K 个标记的上下文长度。

  模型性能:Yi-1.5在多个基准测试中展现了其强大的性能,特别是在处理复杂任务时。

+1

来源:站长之家

延展资讯