中国大模型的实用性正在吊打OpenAI

　　近日，猎户星空突然连着出了两件“大”事。

　　首先是在国内，曾经势不两立的傅盛和周鸿祎，居然在1月21日猎户星空大模型发布会上共坐一堂，甚至聊的欢声笑语。

　　要知道，自从2008年彻底闹掰后，两人十几年势同水火，矛盾逐渐升级到了对簿公堂的地步。而这次，被称为“红衣教主”“红衣大炮”的周鸿祎，却表示“不是来怼的…而是抱着学习的态度”，场面和谐到让不少人纷纷表示“品出了世纪大和解的味道”。

　　随着1月21日猎户星空大模型Orion-14B系列正式发布，双方更是针对大模型再次“唇枪舌剑”，据了解，该模型具备140亿参数规模，涵盖了中文、英语、日语、韩语等多种语言，效果炸裂。凭借在多语言环境下一系列任务中所展现出的卓越性能，模型一经发布便在海外迅速引发了热议。

　　有日本网友表示，看演示感觉日语似乎相当流利。

　　有开发者表示“这是我见过的最全面的基准模型之一!为猎户星空团队的全面工作点赞”。

　　有网友表示“模型看起来非常强大。我喜欢他们列出的所有基准分数，真的能给人很好的整体感觉”。

　　还有网友表示“希望他们能用RAG(检索增强生成)测试更多数据提取任务模型”。

　　YouTube上网友表示，猎户星空团队的研究工作很philosophical

　　同样都是大模型，猎户星空Orion-14B有什么不一样?

　　1、猎户星空大模型“Think Different”

　　本次发布的Orion-14B，实际上是由7个版本组成的系列，分别是基座模型、对话模型、长上下文模型、 RAG 模型、插件模型，以及两个量化模型。

　　其中基座模型是在一个庞大且多样化的数据集上进行训练的，数据集规模达到了2.5万亿token，为了确保模型能够理解和生成多种语境下的文本，该数据集不仅覆盖了常见的语言，还涵盖了专业术语和特定领域知识。

　　Orion-14B基座版在20B参数级别大模型综合评测效果表现优异，并且在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上都达到了SOTA(State-of-the-Art，指在该项研究任务中，目前最好/最先进的模型)水平。

　　长上下文模型可支持320k的超长文本，并在200k token长度上效果优异，在长文本评估集上，性能甚至能比肩专有模型。也就是说，我们一次性录入一本三十万字的小说后，将其中任意位置的关键信息隐藏掉，再对模型进行提问，大模型给出的结果依然能够做到100%正确。

　　而量化版更是在性能上实现了大幅优化。模型大小缩小70%，推理速度提升30%，性能损失小于1%，极大降低了硬件运行的门槛。即便是千元级别的显卡，运行量化版模型也能做到流畅运行。在NVIDIA RTX 3060显卡实测，推理速度可达31 token/s (约每秒50汉字)，但性能几乎无损。

　　在多语言能力方面Orion-14B也表现优异，尤其是在日语、韩语测试集上，评测结果全球第一。

　　但最让人印象深刻的，是Orion-14B极度反差的小体量和大成就。

　　2、百亿参数做出千亿效果

　　大模型，顾名思义，重点在一个“大”字。

　　随着硬件性能和算法的提升，大模型的门槛也在不断提高。以前，10亿参数即可称为大模型，现在都是百亿起步。但随着模型越来越大，两个隐患也逐渐显露出来。

　　一方面，大模型的发展受制于芯片产能。近年来，缺芯问题一直都没有得到过很好的缓解，就连OpenAI都要开始自研芯片，以备未来的不时之需。

　　另一方面，模型越大越烧钱，这对企业发展的可持续性提出了严峻的挑战。同样是OpenAI，一天70万美元的烧钱速度，即便是获得了微软巨额投资，也无法完全打消投资者的“OpenAI破产焦虑”。

　　周鸿祎认为，当下的大模型市场，正在进入一个两极分化的势态。一方面，大厂在追求模型体量方面将会越来越放肆，我们有望看到千亿、万亿级别的大模型的出现;而另一方面，也会有越来越多的企业尝试将大模型做小。

　　在傅盛看来，这两个阵营卷向了不同的方向：一个在卷“谁能造出爱因斯坦”，另一个则是追求“谁能造出平民化大模型”。

　　猎户星空显然属于后者。

　　站在早期大模型的角度，140亿的确可以算是非常大的模型了，但在当下动辄数百亿参数的大模型面前，140亿就成了“轻量级选手”。但重量轻，并不代表力道不如重量级。

　　Orion-14B是一个“精打细算”过的大模型，这一点，从“700亿以下参数基座模型中文数据集的综合测评结果”中就能看出来。在第三方评测机构OpenCompass中，Orion-14B在700亿以下这个量级排名第一，甚至超过了某些超700亿数据的大模型。

　　不仅如此，猎户星空还针对不同应用场景，将模型做了拆分，这就不得不提到Orion-14B的RAG模型和微调模型。

　　构建并维护企业私域知识库，可以有效的提高企业内部管理效率。目前普遍采用的检索增强生成(RAG)技术，可以实现无代码形式，构建定制化的企业私域知识库应用。

　　为此，猎户星空通过针对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力进行专项微调后，推出的RAG能力微调模型 (Orion-14B-RAG)，在检索增强生成任务中表现卓越。相比普通RAG套件，猎户星空的RAG套件在专业度上有非常显著的提升。

　　而被认为将应用开发带入“3D 打印”时代的AI Agent，更是在企业应用中有着极其重要的作用。

　　1月10日，OpenAI正式推出可定制化AI Agent应用市场GPT Store，为大模型接下来卷向何方指明了道路。当全世界都在为GPT Store上线而兴奋的时候，傅盛却表示这其实是OpenAI的一个“阳谋”。

　　由于隐私限制，ChatGPT只能从公开出版物来获取数据，拿不到企业内部核心数据，就无法为企业定制大模型应用。因此，OpenAI需要一个能够让企业心甘情愿共享出私有数据的方式，傅盛认为GPT Store的作用正在于此。

　　企业想要通过GPT Store赋能提升效率，就不得不共享核心私有数据。从积极意义来看，这是一个双赢的格局;但从消极意义来看，企业正在用自己的私有数据去喂养GPT，未来存在不小的隐患。

　　因此傅盛提出，大模型应该私有化，让经营数据内循环生长。然而，这又带来了另一个问题——成本。

　　通常来说，千亿参数大模型被认为是商业化应用的最佳方案，但很少有企业能够支付的起一年数千万美元的费用。要把成本降下来，就要把模型做小。到底多小呢?傅盛认为百亿参数就够了。因此，猎户星空大模型的数据只有140亿。

　　但让人意外的是，百亿参数的猎户星空大模型，仍然能在企业级应用中媲美千亿级大模型。通过猎户星空的插件能力微调模型(Orion-14B-Plugin)开发的Agent，在意图识别、首轮抽参、多轮抽参、缺槽反问、插件调用这五项关键指标上，已经接近了GPT-4的水平。

　　看到这里我们不禁好奇，猎户星空是如何做到“以小博大”，在“小小的花园里”开出“大大的花”呢?

　　关键在于“应用”二字。

　　3、大模型的应用“大”年来了

　　其实猎户星空大模型能以百亿参数达到千亿参数模型的效果，和猎户星空本身的路径走向有着密切的关系。

　　相比大模型开发商的身份，猎户星空更为人熟知的是智能机器人供应商。在日韩市场，猎户星空更是被认为只是一家送餐机器人供应商。这个角色，在很大程度上决定了猎户星空的做大模型的业务逻辑。

　　通常情况，平台都是先开发出大模型后，再开始寻找落地点。为了尽可能的覆盖到更广泛的应用场景，模型就要做的足够大，成本自然居高不下，千亿级参数的大模型一年授权费就能高达数千万。

　　但大模型本身并不是即开即用的产品，企业需要的事能够结合业务流并解决自身痛点的大模型应用。

　　在傅盛看来，脱离市场的技术投入就是浪费资源。所以猎户星空刚好反着，先有了落地应用，然后通过AI赋能该产品，在此基础上再推出大模型，典型的先找痛点再针对性突破的思维模式。

　　这样的好处是可以通过更少资源、更专业性能、更灵活配置，在具体应用场景中获得足以媲美更高参数、更全面性能、更大算力模型的效果。同时，在这个过程中，成本被大幅降低了。一个技术在落地场景中能够实现爆发，成本就是临门那一脚。

　　以前只有大企业才用得起的大模型，现在每个企业都用得起了。以前大公司需要依赖专业人员来构建和维护私域知识库，如今每个公司都可以自己利用Agent来构建定制化的私域知识库。

　　根据傅盛的构想，距离我们实现这样的场景并不遥远。

　　傅盛将刚刚过去的2023年称为奇迹年。这一年因为ChatGPT的出现，刷新了人类科技探索的高度，甚至l会对人类底层生活产生重大影响。2023年作为导火索，点燃了大模型之火，而这把火将在接下来的一年彻底燎原。

　　2024年，将会是大模型的应用“大”年。

　　作者|吴狄

　　出品|零态LT(ID：LingTai_LT)