4月24日,商汤集团在港交所暂停交易前股价上涨31.15%。商汤集团表示,其大模型日日新5.0发布会受到市场极大关注,公司将进一步刊发相关公告。在“2024年商汤技术交流日”上,商汤发布了其最新的大模型——SenseNova5.0,旨在追赶GPT-4,这反映了中国大模型行业的集体目标。
商汤通过遵循大语言模型的尺度定律(Scaling laws),在不到三个月的时间内,从SenseNova4.0超越GPT-3.5到SenseNova5.0全面对标GPT-4Turbo。尺度定律强调了模型性能与模型大小、数据量和计算量之间的幂律关系。商汤利用科学试验和数学公式预测下一代大模型的性能,避免了盲目尝试。
商汤科技董事长兼CEO徐立提出,通过小规模实验可以预测和验证模型架构和数据配方的有效性,并确保这些结论在更大规模上得到保持。SenseNova5.0采用了超过10万亿tokens的中英文预训练数据,并通过逻辑合成数据提升模型的推理、数学和编程能力。
商汤还推出了1.8B参数的SenseChat-Lite,它在主流评测中超过了所有开源2B的同级别模型。此外,商汤发布了针对端侧业务的SDK,以及企业级大模型一体机,支持金融、代码、医疗、政务等行业的数据私有化部署需求。