OpenAI曾计划开发一款名为“Arrakis”的全新AI模型,旨在提高AI推断的效率,使其更经济实惠。然而,由于质量问题,该公司不得不停止了这一项目的开发。
“Arrakis”本应与GPT-4一样强大,但成本更低,因为该模型部分采用了所谓的稀疏原则。这意味着只有神经网络的部分部分用于处理输入,而在传统的“密集模型”中,整个神经网络是活跃的。例如,谷歌在其Pathways AI项目中采用了稀疏原则。
The Information援引两名熟悉该项目的人士的说法,“Arrakis”项目的开发始于去年秋季,训练于春季开始。但OpenAI的开发团队很快意识到性能不够出色,据
团队在一个月的时间内进行了一些微调,然后领导团队终止了该项目,但目前尚不清楚为什么稀疏原则在早期测试中效果不错,但在更大的模型上失败了。
尽管存在这一挫折,OpenAI可能会将“Arrakis”项目的经验应用于其他模型,例如计划中的Gobi多模态模型。在“Arrakis”项目失败后,OpenAI的研究人员着手开发一款GPT-4版本,该版本可以生成更快的响应。
这可能就是今年夏季推出的GPT-4版本“0613”,比OpenAI今年3月初推出的版本“0314”明显更快。尽管一些用户抱怨在某些领域失去了一些质量,但OpenAI却予以驳斥,这导致公司提供API访问0314版本的时间比原计划更长。
OpenAI将人工智能引向沙漠,他们的新AI模型原型命名为“Gobi”、“Sahara”和“Arrakis”,以向稀疏原则致敬,并希望这些模型能够更高效地工作并降低成本。尤其是OpenAI的合作伙伴微软希望“Arrakis”可以降低其产品中生成式AI的使用成本。
此外,据《华尔街日报》报道,微软已经将资源转向开发成本更低的语言模型,因为生成式AI的高成本威胁着新兴的商业模型。
此前有消息称OpenAI泄露者FeltSteam曾提到“Arrakis”。该模型据说不仅可以生成文本,还可以生成图像和视频,幻觉较少,适用于自主代理。此外,“Arrakis”将部分采用合成数据进行训练,计划明年发布。