微软、OpenAI投资1000亿美元，打造“Stargate”计算机

　　本文来自于微信公众号 AIGC开放社区(ID：AIGCOPEN)，作者：AIGC开放社区。

　　3月30日，著名科技媒体the information独家消息，微软、OpenAI正在开发一个数据中心项目，包含一台名为“Stargate”超级计算机将配备数百万个AI专用芯片，主要为OpenAI的研发、产品提供服务。

　　据一位曾与OpenAI联合创始人兼首席执行官Sam Altman交谈过，以及查看过微软对该项目的成本估算内部人士透露，该成本的总投资高达1000亿美元。

　　早在2020年5月19日，微软就在官方公布过，在Azure云服务中专门为OpenAI打造了一台配备10，000个GPU和285，000个 CPU的超级计算机，这也是当时世界上最快的5台计算机之一，这为后来开发ChatGPT、DALL·E3等产品立下汗马功劳。

　　本次的Stargate将比2020年的那台性能更强、更快，将帮助OpenAI开发实现AGI的大模型。

　　Stargate简单介绍

　　据the information介绍，该数据中心项目一共分为5个阶段，目前微软和OpenAI已经处于第3阶段中期。第4阶段是微软将打造一台比Stargate小一点的超级计算机，预计在2026年左右投入使用。

　　第5阶段就是Stargate超级计算机，将配备数百万个AI专用芯片，预计在2028年左右投入使用。而第4和第5阶段的主要工作之一就是大量采购AI芯片。

　　该项目的占地将达到400多亩，需求的电力在5吉瓦特左右将是一个耗电猛兽，所以，可能会使用核动力供电。

　　该项目的投资是目前多数高级数据中心的100倍左右，微软如此花大价钱的主要原因是，OpenAI一直受到算力的困扰，不能释放全部的产品和创新能力。

　　例如，2023年，OpenAI本来是要推出一个名为“Arrakis ”的AI产品，但受AI算力限制放弃了。

　　微软曾为OpenAI打造过专属超级计算机

　　花费1000亿美元，打造一个超级数据中心并非微软上头操作，而是之前就成功干过一次。

　　早在2020年5月召开的“Build”开发者大会上，微软表示已经在Azure 云服务中专门为OpenAI打造了一台配备10000个GPU和285，000个 CPU的超级计算机，每个 GPU 服务器的网络连接速度为每秒400GB，专门用于训练AI模型。

　　可以说，如果没有这台超算的帮助，可能也不会有后来在全球爆火出圈的ChatGPT。

　　而微软此次的投资是2020年那台的100倍，这主要因为OpenAI的技术正在快速迭代，并且开发了Sora这种跨时代的文生视频模型。

　　与ChatGPT的文本相比，视频模型的预训练、微调需要的算力和处理难度将更高。因为，视频数据是包含宽度、高度、时间和颜色通道等高维数据。

　　因此需要更复杂的数据预处理步骤，包括视频的解码、帧提取、帧重采样以及大小调整等。而文本数据相对是低维的，主要处理的是序列数据，包括分词、标记化、词嵌入等流程。

　　在算力方面，由于视频数据的高维特性，视频模型在训练和推理过程中远高于文本模型的AI算力。视频处理通常需要在保持空间细节的同时捕捉时间上的变动，这需要大量的AI算力支撑。

　　OpenAI的首席技术官Mira Murati曾表示，Sora生成一个20秒720P的视频，大约需要耗费几分钟的时间。

　　如果是100，000个人一起使用Sora生成不同类型的视频，其消耗的AI算力将是一个天文数字。

　　所以，AI算力已经和数据一样成为生成式AI领域的水、电、煤基础设施，任何产品的技术创新、迭代都离不开它。