随着机器学习实验变得越来越复杂，它们的碳足迹正在膨胀。现在，研究人员已经计算出在不同地点的云计算数据中心训练一系列模型的碳成本。他们的发现可以帮助研究人员减少依赖人工智能(AI)的工作的排放量。该团队发现不同地理位置的排放量存在显着差异。在同一个人工智能实验中，“效率最高的地区产生的排放量大约是效率最低的地区的三分之一”。PriyaDonti是宾夕法尼亚州匹兹堡卡内基梅隆大学的机器学习研究员，也是ClimateChangeAI小组的联合创始人，他说，直到现在，还没有任何好的工具来测量基于云的AI的排放量.“这是一项伟大的工作，有助于就如何管理机器学习工作负载以减少排放进行重要对话，”她说。位置很重要道奇和他的合作者，包括来自微软的研究人员，在训练11种常见的人工智能模型时监测功耗，从支持谷歌翻译的语言模型到自动标记图像的视觉算法。他们将这些数据与为16个MicrosoftAzure云计算服务器供电的电网的排放量随时间变化的估计相结合，以计算一系列地点的训练能源消耗。由于全球电源的变化和需求的波动，不同地点的设施具有不同的碳足迹。该团队发现，在美国中部或德国的数据中心训练BERT（一种常见的机器学习语言模型）会排放22-28公斤的二氧化碳，具体取决于一年中的不同时间。这是挪威同一实验的排放量的两倍多，挪威的大部分电力来自水力发电，而法国则主要依赖核能。运行实验的时间也很重要。例如，Dodge说，在华盛顿晚上训练AI，当该州的电力来自水力发电时，比白天训练AI的排放量要低，白天同样来自加油站。上个月，他在首尔举行的公平、负责和透明计算机协会会议上公布了结果。人工智能模型的排放量也相差很大。图像分类器DenseNet在加利福尼亚训练一种称为Transformer的中型语言模型（比研究公司OpenAI制造的流行语言模型GPT-3小得多）时产生的二氧化碳排放量与给手机充电时产生的二氧化碳排放量相同。旧金山产生的排放量与一个典型的美国家庭一年产生的排放量大致相同。此外，该团队只完成了13%的Transformer培训过程；道奇说，经过充分训练，它会产生“相当于燃烧一整辆装满煤的火车”的排放物。他补充说，排放数据也被低估了，因为它们不包括用于数据中心开销的电力或用于创建必要硬件的排放等因素。Donti说，理想情况下，这些数字还包括误差条，以说明给定时间电网排放的重大潜在不确定性。更环保的选择在所有其他因素相同的情况下，道奇希望这项研究可以帮助科学家选择数据中心进行实验，以最大限度地减少排放。“事实证明，这一决定是在这一学科中可以做的最有影响力的事情之一，”他说。由于这项工作，微软现在向使用其Azure服务的研究人员提供有关其硬件功耗的信息。英国布里斯托大学研究数字技术对环境可持续性影响的克里斯·普雷斯特(ChrisPreist)表示，减少排放的责任应由云提供商承担，而不是研究人员。他说，供应商可以确保在任何时候，碳强度最低的数据中心使用最多。Donti补充说，他们还可以采用灵活的策略，允许机器学习操作在减少排放时启动和停止。道奇说，进行最大规模实验的科技公司应该对排放的透明度以及最小化或抵消排放承担最大的责任。他指出，机器学习并不总是对环境有害。它可以帮助设计高效材料、模拟气候以及追踪森林砍伐和濒危物种。尽管如此，人工智能不断增长的碳足迹正成为一些科学家关注的主要原因。道奇说，虽然一些研究小组正在致力于追踪碳排放，但透明度“尚未发展成为社区规范”。“这项工作的重点是试图让这个话题变得透明，因为它现在非常缺失，”他说。参考文献：1.Dodge,J.等。预印本位于https://arxiv.org/abs/2206.05229(2022)。
