云知声推出山海大模型2.0版 参数规模达千亿

　　云知声宣布推出山海大模型2.0版，参数规模达到千亿，增加了更多的学科类的预训练语料，训练数据(Tokens)达到两万亿(2.0T)。实测性能在 C-Eval 全球大模型综合性评测中超过了 GPT-4，以70分的成绩进入前三甲。

　　据悉，这次升级使得山海大模型在多学科能力和医疗能力方面得到了提升，为实现 AGI 的进化打下了基础。模型团队利用了教材、文献和百科类语料来丰富模型的知识库，尤其在医疗领域方面取得了突破。

　　另外，模型的性能也得到了加速提升，通过使用 Neural Tangent Kernel (NTK) 的非线性差值方法，实现了大规模长度扩展，支持了32K 的窗口长度。为了提高解码效率，模型还采用了受限解码方法。