扎克伯格同学最近心情很不错。
与马斯克在线激情互喷垃圾话后,对标“元宇宙版推特”的Threads仅用了不到五天的时间完成了1个亿用户的积累,成为了全球用户总数破亿速度最快的新社交平台。Threads,成为小扎打在马斯克脸上的一击力拳。
但商场的拳台上没有裁判叫停,扎克伯格说Threads的用户规模目标是10亿。而只有达到10亿目标以后,Meta才会认真考虑Threads赚钱的问题。这一数字相当于推特目前规模的两倍。
扎克是认真的。无论是反感马斯克版推特的愤怒用户,还是Meta帝国多年沉淀下的庞大商业机构关系网,都在极短的时间内涌入了Threads平台。而在无数游牧迁徙的用户中,夹杂着一个硅谷最有权势的光头——微软首席执行官萨蒂亚·纳德拉(Satya Nadella)。
纳德拉过去是尊贵的推特蓝V,拥有307万的用户,每天像AI一样毫无感情地转推各种微软的新闻公关稿。不过这次他专门注册了一个Threads账号,热情洋溢地宣布了微软将与Meta的“大模型婚姻”:
微软云Azure将帮Meta训练和推广Llama大模型,而Llama也将上线Azure库和适配Windows系统。
而如双方官宣文件所言,Azure从设备、硬件和软件(facility, hardware and software)层面进行了针对性的设计,从而支持世界领先的AI训练。而在本次合作后,Llama的开发者则可以利用Azure AI的工具进行训练、微调、推理和安全方面的功能开发。
巨头之间的云合作屡见不鲜。但全世界都知道,Azure可是OpenAI的御用云平台。
在2019年微软掏出10亿美元投资OpenAI后,Azure就一直是OpenAI的独家云服务商。而Azure为了更好地为大模型提供算力和对外服务,重新进行了部分架构设计。甚至在一些观察者眼中,当年微软拍板投资OpenAI的核心原因,其实就是Azure的发展——
毕竟彼时Transformer还没有完全验证,但微软已经多年下注AI并开始将云业务的未来愿景视作是“为AI服务的超级计算设施”。无论是算力支持,还是OpenAI开放全球的chatbot测试,Azure都功不可没。
Altman本人甚至还曾经专门发推对Azure团队的给力支持表示感谢,高度评价微软是“世界上最好的AI基础设施”。
如今Sam前脚刚烧了两炷香,纳德拉转手就把这个“世界上最好的AI基础设施”租给了扎克伯格。
不知道俩人是不是提前商量好的。又或许对纳德拉来说,这大概都是计划的一部分。总之扎克伯格表现得很高兴。
在扎克伯格的Instagram账号里,他贴出了一张与纳德拉的亲密合影以“感谢纳德拉”,扎克伯格表示:
“(Meta)将Llama2开源给了微软,而(这次开源)将成为下一代大模型建设工作的基础。”
微软与Meta的确是相互需要的。
Meta正在走向大模型的“深水区”,在70B参数的Llama2已经达到了GPT3.0的水平,几乎已经成为了目前口碑最好的大模型底座。对于闭源大模型阵营来说,Llama2成功带来的压力一点不亚于Threads对于Twitter的震慑。
闭源公司花几千万搞不出来的东西,开源社区可以直接用,相当于将未来全球开源大模型社区的起跑线提升到了3.0的水平。
最近登顶HuggingFace开源大模型榜单的Stability的Freewilly大模型,被认为接近3.5的水平,正是基于Llama2.0调教优化后的产品。
对于Meta来说,参数规模的提升带来计算量的攀升、模型的逐步成熟也让看到更好的商用潜质。但如果要战胜这些困难、落实这些潜力,扎克伯格需要一个更高效的合作伙伴。而那些Azure已经有的、但Meta没有的东西,对于Llama来说就显得更重要了,比如Azure的算力经验、Azure的AI工具箱、以及Azure的云本身……
Meta是为数不多没有公有云服务的互联网巨头。
在过去,Meta与亚马逊都互为对方的超级大客户,包括Meta的一些AI研发算力,也都是采购的AWS。而微软这次撬墙角的方案,除了开放Windows场景以外,还开放了Azure的企业渠道能力,将Llama2加入到自己的产品名录中。
Azure虽然在整体市场份额中依然落后AWS,但是在SaaS销售领域却显著领先于同类竞争对手。而随着云与SaaS的融合,微软在渠道层面有显著的差异化优势。通过Azure,Meta和它的生态追随者们可以直接通过云端来销售和使用Llama2的产品。
对于微软来说,大模型的挑战则更加多元的。
微软过去在大模型应用层面几乎是all in OpenAI的产品。无论是最早接入的Bing,还是基于Windows生态的Copilot\面向开发者的工具生态AI Studio、甚至是新的AI云服务品牌OpenAI Azure,背后都是OpenAI的影子。
OpenAI是全球最好的大模型公司,Windows依然是全球最重要的生产力软件生态。但在大模型全球军备竞赛中,这两者的结合并不意味着绝对的胜券在握。
与Meta和微软结合几乎同时“官宣”的,则是苹果的大模型计划。
据海外媒体报道,苹果已经完成了名为“Ajax”的大预言模型基础框架,将开发类似ChatGPT的对话式AI。而消费级产品的推出时间则计划在明年发布。
苹果的入场被认为是硅谷大模型竞赛中的重要变量。
相比于公有云之类的互联网风口,AI是被苹果管理层高度认可的科技方向,近期管理层口风也有朝着AI加码的趋势。
除了长期关注AI科技外,苹果是全球最有钱、最有场景的公司。苹果每年净利润接近1000亿美元、经营净现金流超过1200亿美元,相当于微软与Meta的总和。苹果生态已经超过微软成为全球最大的封闭操作系统,活跃设备数量超过20亿,而微软只有15亿。
而相比于账面实力外,苹果更具想象力的是它的半导体能力。它或许是全球参与大模型竞赛的科技企业中,为数不多将来可以不用外采GPU与CPU的厂商。不仅如此,苹果的芯片效率似乎更有想象力。
在2023年WWDC上,苹果推出的M2 Ultra芯片。相比于普通厂商CPU、GPU分离的部署方式,M2 Ultra统一内存架构以及随之带来的超高内存带宽,甚至可以让开发者在一张卡上就能跑大模型。
尽管类似的消费级芯片还无法和英伟达的专业芯片相媲美,但类似小秀肌肉,也让外界对苹果未来的GPU算力延展能力产生了兴趣。
以OpenAI为例,外界预估其大概同时动用了两万张显卡进行计算。但王小川近期对媒体表示,OpenAI正在测试1000万张显卡同时计算的模型,相当于英伟达目前10年的产能,“完全是登月计划(级别)”。
除了苹果以外,微软、谷歌、Meta、亚马逊等巨头都有自研AI芯片的计划,但已经有顶尖半导体开发能力的苹果依然是最有资格“大力出奇迹”的人。
Apple将两枚 M2 Max 的芯片连接在一起打造出M2 Ultra
谷歌凶猛、苹果虎视眈眈,微软和Meta选择结盟。
对于纳德拉来说,与Meta队形站位可以让微软在大模型的生态战争中更加稳固。
首先,微软依然需要开源,开源在未来的大模型竞争中将持续扮演重要的角色。
开源天然具有人才参与众多、迭代速度快、垂类覆盖效率更高的生态能力。虽然OpenAI拿下头筹,但开源社区的进步速度依然很可观。比如Llama只用了大半年的时间、使用参数70B,已经赶上了175B、耗时2年的GPT3。
尤其是如果未来开源路线成为了行业解决方案的主流,Llama与Azure深度结合,或许真的可以帮助微软云业务完成对AWS的弯道超车(2022年底Azure市占率23%、AWS为32%)。毕竟相比于Windows和Office,Azure才是微软最赚钱、最有潜力的业务。
其次,开源大模型的不断发展,必然让愿意砸钱做封闭系统的厂家也自然会越来越少。
比如Bard在Llama2之后就受到了不小的压力。除了许多好事者在晚上讨论bard未来长期发展的压力外,有媒体报道称谷歌内部人士也曾撰文称bard在对抗开源社区时优点吃力,后者进步神速且成本更少、场景更丰富。
在大模型超级投入的产业结构没有变化的情况下,封闭式大模型依然会有其存在的合理性,但可能将仅仅限于极少数领先者,而其中大概率会有OpenAI。
如果OpenAI有护城河,那它的名字可能叫Llama2。
当然,OpenAI其实也并不是微软的“亲儿子”。
在100亿美元投资后,微软虽然拥有75%的分红权,但实际上也只占有OpenAI 49%的股权。换言之,微软虽然手握大量的OpenAI资源,但并不完全拥有OpenAI绝对的控制权。
但与llama合作像是一个标志,手握OpenAI的微软其实正在成为游戏规则的制定者:
它既有最具潜力的AI基础设施Azure,也有最前沿的商业化变现接口Windows copilot。而当最核心的基础设施和渠道能力在微软手上时,OpenAI也只是微软的“超级程序员”。
当Meta等平台成熟后,微软可以再引入更多的“程序员”,甚至开放更多的系统级场景给开源生态、从而让Windows系统的生产力进一步提升。
实际上,OpenAI原本就只是纳德拉重注AI和语言大模型的一个选项。
在ChatGPT之前,微软甚至和英伟达合作开发过5300亿参数的大语言模型威震天-图灵Megatron-Turing,是当年最大的基于transformer的模型,参数比GPT3多了好几倍,讲究的是绝对的大力出奇迹。
可最后威震天还是输给了奥特曼,于是威震天才选择了买下奥特曼。
但微软内部其实一直没有放弃大模型的相关技术路线开发。
例如6月时,微软就发布了13亿参数的“小型”大语言模型 phi-1。有OpenAI作为核心资产,微软不走“大力奇迹”模式,而是改用号称“教科书等级”的高品质资料集训练模型,让实际效果胜于千亿参数的 GPT 3.5。7月时,微软还提出了新的大模型架构RetNet,称其可以在更大数据维度基础上,比transformer更优。
图源:arxiv.org
大模型的战事还远没到中场,威震天与奥特曼们的游戏或许才刚刚开始。