科技魔方

ChatGPT 背后的大型语言模型 GPT-4 需要大量的冷却水: 5 到 50 个问题就需消耗 500 毫升的水

大模型

2023年09月11日

  建设像ChatGPT这样的人工智能产品的成本往往难以衡量。

  但微软支持的 OpenAI 的技术需要大量的水,这些水来自爱荷华州中部的 Raccoon 和 Des Moines 河流域,用于冷却一台强大的超级计算机,以帮助教导其人工智能系统如何模仿人类写作。

  在竞相利用生成式人工智能的狂潮中,包括微软、OpenAI 和谷歌在内的领先科技开发者承认,对其人工智能工具的不断增长需求带来了巨大的成本,从昂贵的半导体到用水量的增加都有所涉及。

  但他们通常对具体情况保持保密。在微软一位高级高管在演讲中表示「GPT-4 实际上是在得梅因西边的玉米田旁边制造出来的」之前,很少有人知道爱荷华州是 OpenAI 最先进的大型语言模型 GPT-4 的诞生地。

  构建大型语言模型需要分析大量人类写作文本的模式。所有这些计算需要大量电力,并产生大量热量。为了在炎热的天气里保持冷却,数据中心需要泵入水——通常是泵入仓库大小的建筑外的冷却塔。

  根据微软最新的环境报告,其全球用水量从 2021 年增长了 34% 至 2022 年(达到近 17 亿加仑,相当于 2500 多个奥林匹克游泳池的水量),与以前的年份相比大幅增加,外部研究人员将其与其人工智能研究联系起来。

  加州大学河滨分校的研究员Shaolei Ren 表示:「可以说,增长的大部分原因是由于人工智能,包括其在生成式人工智能和与 OpenAI 的合作方面的巨大投资。」该团队估计,ChatGPT 在今年晚些时候将会发表的一篇论文中,每次你向它提问一系列介于 5 到 50 个提示或问题之间,它就会消耗 500 毫升的水(接近于一个 16 盎司水瓶的水量)。这个范围取决于服务器的位置和季节。这个估算包括公司没有测量的间接用水,比如用于冷却供电数据中心的发电厂。

  Ren 说:「大多数人都不知道 ChatGPT 背后的资源使用情况。」「如果你不知道资源的使用情况,那就无法帮助我们节约资源。」

  谷歌在同一时期报告其用水量增长了 20%,这也主要归因于其人工智能工作。谷歌的用水增长不是均匀的——在俄勒冈州,它的用水量一直稳定,而且引起了公众的注意,而在拉斯维加斯以外的地方则翻了一番。在爱荷华州,谷歌对 Council Bluffs 数据中心的需求最大,输送了更多的水。

  微软上周在一份声明中表示,它正在进行研究,以衡量人工智能的能源和碳足迹,「同时致力于使大型系统在训练和应用方面更加高效。」

  微软公司的声明说:「我们将继续监控我们的排放,加速进展,增加使用清洁能源来供电数据中心,购买可再生能源以及其他努力,以实现我们在 2030 年之前成为负碳、水资源正增、零废弃的可持续发展目标。」

  OpenAI 在自己的声明中也重申了这些评论,表示正在「认真思考」如何最好地利用计算能力。「我们认识到训练大型模型可能会消耗大量能源和水资源」,并努力提高效率,它表示。

  微软于 2019 年首次投资总部位于旧金山的 OpenAI 10 亿美元,比这家初创公司推出 ChatGPT 和引发全球对人工智能进展的着迷早两年多。作为交易的一部分,这家软件巨头将提供训练人工智能模型所需的计算能力。

  为了至少完成部分工作,这两家公司寻找了爱荷华州西得梅因,这个拥有 6.8 万人口的城市是微软在过去十多年中一直在积累数据中心,以为其云计算服务供电。该公司的第四和第五个数据中心计划于今年晚些时候在那里开业。

  「他们正在尽力建设,」微软进驻该市时担任该市市长的 Steve Gaer 说。Gaer 表示,微软公司被城市建设公共基础设施的承诺所吸引,并通过支持该投资的税款提供了一笔「令人震惊」的金额。但他补充说:「但是,你知道,他们对他们在那里做什么相当保密。」

  微软于 2020 年首次宣布,正在为 OpenAI 开发世界上最强大的超级计算机之一,当时拒绝向媒体透露其位置,但将其描述为一个具有超过 28.5 万个传统半导体核心和 1 万个图形处理器(这种芯片已经对人工智能工作负荷变得至关重要)的「单一系统」。

  专家们表示,在一个地方「预先训练」人工智能模型是有意义的,因为需要在计算核心之间传输大量数据。

  直到 2022 年 5 月底,微软总裁 Brad Smith 才透露,微软已经在爱荷华州建立了其「先进的 AI 超级计算数据中心」,专门用于让 OpenAI 训练成其第四代模型 GPT-4。该模型现在为 ChatGPT 的高级版本和微软的一些产品提供支持,并加速了有关限制人工智能社会风险的讨论。

  「它是由加州的这些杰出工程师设计的,但它实际上是在爱荷华制造的,」Smith 说。

  在某种程度上,与微软在亚利桑那州的数据中心相比,西得梅因是一个相对高效的地方来训练强大的人工智能系统,特别是考虑到为了满足相同的计算需求,亚利桑那州的数据中心消耗了更多的水。

  「所以,如果你正在微软内部开发人工智能模型,那么你应该将你的训练安排在爱荷华州,而不是在亚利桑那州,」Ren 说。「在训练方面没有区别。但在用水或能源消耗方面,有很大的差异。」

  在大部分时间里,爱荷华州的天气足够凉爽,以至于微软可以使用外部空气来保持超级计算机正常运行,并排出建筑物内的热量。该公司在一份公开文件中表示,只有当温度超过 29.3 摄氏度(约 85 华氏度)时,它才会取水。

  尽管如此,这仍然可以是大量的水,特别是在夏天。根据西得梅因市自来水公司的数据,在 2022 年 7 月,即 OpenAI 宣布完成对 GPT-4 的训练之前的一个月,微软向其爱荷华数据中心集群抽取了约 1150 万加仑的水。这占了该地区用水总量的约 6%,该地区还向市民提供饮用水。

  2022 年,西得梅因自来水公司的一份文件说,该公司和市政府将「只考虑未来数据中心项目」,如果这些项目能够「证明并实施技术,显著减少当前水峰值使用水平」,以保护居民和其他商业需求的水供应。

  微软上周四表示,正在直接与自来水公司合作,以解决其反馈问题。在一份书面声明中,自来水公司表示,该公司一直是一个良好的合作伙伴,并一直与当地官员合作,以减少其用水量,同时仍然满足其需求。

+1

来源:站长之家

延展资讯