能力全面提升！三六零开源升级版自研大模型360Zhinao2-7B

　　近日，三六零自研AI大模型360智脑7B参数升级版(360Zhinao2-7B)正式开源，现已上线Github开源社区(github.com/Qihoo360/360zhinao2)，可免费商用。该模型是继今年4月 360Zhinao1-7B 开源后的重要更新，通过全新的多阶段训练方式和更优质的数据处理策略，新开源360智脑模型不仅提升了中英文通用能力，还显著增强了模型的数学逻辑推理能力。据评测，相对于前一版本，其在基础模型训练和对齐训练两大核心环节上均取得重大进展，实现在国内外同尺寸开源模型中，中文能力第一、IFEval指令遵循7B第一，复杂数学推理能力第一;此外，模型的长文本微调能力，在各个长文本benchmark 上位列第一梯队。

　　360Zhinao2-7B 在多项性能评估基准中表现卓越。基于开源工具 OpenCompass 的评估，360Zhinao2-7B 在中文领域的 CEval 考试和复杂数学推理数据集 math 上，该模型以10B以下开源模型第一的排名展现了超强的竞争力。此外，在C3、lcsts等中文阅读和摘要任务中，该模型也取得了领先成绩。360Zhinao2-7B 在 IFEval、MT-bench、CF-Bench三个流行评测上，模型都具备竞争力，比如在 IFEval (prompt strict) 上，在7B尺寸上得分最高。

　　优异的模型效果评测结果，基于 360Zhinao2-7B 多项核心技术革新。首先，预训练数据优化：通过语义去重和多样化处理，大幅提升网页数据的均衡性;同时，通过大规模合成，弥补了数学和代码数据的不足。其次，模型结构升级：引入GQA机制，显著提升推理效率。第三，对齐训练强化：采用iterative DPO，off policy DPO以及PPO三种进化方式分别对齐，再采用先内插再外插的方法，极致提升模型的天花板。结合高质量人工标注的微调数据以及可验证的复杂指令遵循数据，大幅增强了模型在实际应用场景中的指令遵循能力。

　　此次 360Zhinao2-7B 开源，包含基础模型和强化对齐的聊天模型，以及模型的微调训练代码，推理代码等全套工具集也被一并开源，大模型相关开发者可做到“开箱即用”。无论是在学术研究还是在教育、医疗、智能客服等商业场景中，都具备高度实用性。