计算人工智能的碳成本

　　如果您正在寻找有趣的话题，那么人工智能 (AI) 不会让您失望。人工智能包含一组强大的令人费解的统计算法，可以下棋、破译潦草的笔迹、理解语音、分类卫星图像等等。用于训练机器学习模型的巨型数据集的可用性一直是人工智能成功的关键因素之一。但所有这些计算工作都不是免费的。一些人工智能专家越来越关注与构建新算法相关的环境影响，这场辩论引发了关于如何让机器更有效地学习以减少人工智能碳足迹的新想法。

　　回到地球

　　要深入了解细节，我们首先需要考虑数以千计的数据中心(遍布世界各地)，它们24小时全天候处理我们的计算请求。对于人工智能研究人员来说，这些任务包括训练具有数十亿数据元素(或标记——在英语中相当于四个字符或大约 3/4 个单词的单词位)的多层算法。所涉及的计算工作令人惊讶。人工智能基础设施公司 Lambda 提供了一些关于 GPT-3(OpenAI 用于生成类人文本的强大自然语言模型)的有趣事实。根据 Lambda 的分析，如果您希望在单个 NVIDIA RTX 8000 上训练 GPT-3 的 1750 亿参数模型，则需要 665 年，这在显卡方面毫不逊色。

　　简单来说，模型越大，性能就越好，Lambda 的团队指出，state-of-the-art 语言模型的规模每年以 10 倍的速度增长，这让我们回到了对 AI 增长的担忧碳足迹。回到数据中心，有可能在讨论中添加更多数字，至少在高层次上是这样。根据国际能源署 (IEA) 的估计，全球数据中心的总用电量在 200 到 250 TWh 之间。为了使这个数字更容易可视化，假设机车和机车车辆平均每公里行驶消耗 2.5 千瓦时，225 太瓦时足以让高速电动火车行驶 900 万公里。虽然只有一部分(在数据中心)将用于训练和运行 AI 模型，但消息来源表明，机器学习和训练的计算需求正在超过数据中心活动的平均增长速度。

　　在这一点上，公平地承认数据中心在管理其能源需求方面做得很好——环境问题是一个动力，但值得一提的是，电力是一项重大的运营费用，对每个设施来说都是“关键任务” .尽管全球互联网流量激增，仅在 2020 年就增长了 40%，但数据中心的能源使用在过去十年中保持相对稳定。 “数据中心服务需求的强劲增长继续被服务器、存储设备、网络交换机和数据中心基础设施的持续效率提升以及高效云和超大规模数据所满足的服务份额不断增长所抵消。中心，”IEA 写道。

　　光子等等

　　此外，垂直整合的数据中心运营商，如亚马逊、谷歌、Facebook 等，将很快补充说他们的设施由可再生能源供电。自然地，这减轻了数据处理对环境造成的负担，因为为计算硬件机架和必要的辅助服务(如加热、冷却和照明)供电的电力可以来自太阳和风。然而，正如英国《金融时报》未选择的那样，即使数据中心能源协议可能通过可再生能源抵消其 100% 的电力消耗，但在风能和太阳能不可用时，设施可能仍会消耗化石燃料。还需要考虑计算设备本身的嵌入式碳排放，这是因为制造方法和零部件材料采购活动也会产生碳排放——微软承认这一点。

　　今年早些时候，微软在最近的一篇博文中讨论了高效模型训练的话题。开发人员正忙于探索缩小人工智能碳足迹的方法——或者至少是抑制其增长。这里的步骤包括寻找在模型微调期间减少计算和内存需求的方法，建议建议在该过程的这个阶段将 GPU 使用量减少三倍。模型压缩也显示出了希望，其中 AI 数据的子层被修剪成更稀疏但仍具有代表性的先前组合条件的版本。在这里，研究表明，压缩模型可能需要减少约 40% 的训练时间，同时实现类似的算法效果。

　　开发人员还可以从监控工具中受益，这些工具将查明通过优化代码或数据托管安排所获得的收益。 “CodeCarbon 是一个轻量级的软件包，可以无缝集成到你的 Python 代码库中，”免费提供他们的工具的发明者写道。 “它估计了用于执行代码的云或个人计算资源产生的二氧化碳 (CO2) 量。”

　　完整的循环

　　循环往复，未来可能会部署更节能的人工智能，以帮助指导更高效的数据中心运营，以降低——你猜对了——人工智能的碳足迹。如今，Cirrus Nexus 提供了可用的软件，数据中心运营商可以使用该软件来为碳分配成本，并通过人工智能算法进行传播。结果不仅显示了二氧化碳计算，还提供了对用户可以配置其设施以最大化可用环境收益的方式的洞察。

　　使支持当今技术的算法的碳足迹可见，这在多个方面都有帮助。它正在就培训未来人工智能的最有效方式展开讨论，让 IT 部门及其客户对计算的环境成本承担更多责任。最后，它可能对企业有利。引人注目的是，亚马逊今年早些时候发布了客户碳足迹工具，谷歌等其他大公司也允许客户导出云碳排放信息——这项服务目前处于预览阶段。

　　作者：James Tyrrell