当前位置: 首页 > 科技观察

计算人工智能的碳成本

时间:2023-03-22 11:37:17 科技观察

如果您正在寻找有趣的话题,人工智能(AI)不会让您失望。人工智能包含一组功能强大且令人费解的统计算法,可以下棋、破译潦草的笔迹、理解语音、对卫星图像进行分类等等。用于训练机器学习模型的庞大数据集的可用性一直是人工智能成功的关键因素之一。但是所有这些计算工作都不是免费的。一些人工智能专家越来越关注与构建新算法相关的环境影响,这场辩论引发了关于如何让机器更有效地学习以减少人工智能碳足迹的新想法。回到地球为了深入了解细节,我们首先需要考虑24/7全天候处理我们的计算请求的数千个数据中心(分布在世界各地)。对于AI研究人员来说,这些任务包括使用数十亿个数据元素或标记(英语中对应四个字符或大约3/4的单词的字位)训练多层算法。所涉及的计算工作是惊人的。人工智能基础设施公司Lambda提供了一些关于GPT-3的有趣事实,GPT-3是OpenAI用来生成类人文本的强大自然语言模型。根据Lambda的分析,如果要在单块NVIDIARTX8000上训练GPT-3的1750亿参数模型,需要665年,这在显卡方面毫不逊色。简单地说,模型越大,性能越好,Lambda的团队指出,最先进的语言模型的规模正以每年10倍的速度增长,这让我们又回到了担忧关于人工智能增长的碳足迹。回到数据中心,可以在讨论中添加更多数字,至少在较高级别。据国际能源署(IEA)估计,全球数据中心的总耗电量在200至250TWh之间。为了使这个数字更容易形象化,假设机车和机车车辆每行驶一公里平均消耗2.5千瓦时,则225太瓦时足以驱动高速电动列车行驶900万公里。虽然只有一部分(在数据中心)将用于训练和运行人工智能模型,但消息来源表明,机器学习和训练的计算需求正在超过数据中心活动的平均增长率。在这一点上,可以公平地承认数据中心在管理其能源需求方面做得很好——环境问题是一个推动因素,但值得一提的是,电力是每个设施的一项重要运营支出,两者都是“关键任务”。尽管全球互联网流量激增,仅2020年就增长了40%,但数据中心的能源使用在过去十年中一直保持相对稳定。“数据中心服务需求的强劲增长继续被服务器、存储设备、网络交换机和数据中心基础设施的效率持续提高以及高效云和超大规模数据中心所满足的服务份额不断增加所抵消,”国际能源署写道。光子学等此外,亚马逊、谷歌、Facebook等垂直整合的数据中心运营商将很快补充说,他们的设施由可再生能源供电。自然地,这减少了数据处理的环境负担,因为为计算硬件和必要的辅助服务(如加热、冷却和照明)供电的电力可以来自太阳和风。然而,尽管数据中心能源协议可能会通过可再生能源抵消其100%的电力消耗,但正如英国《金融时报》尚未选择的那样,在没有风能和太阳能的情况下,设施仍可能消耗化石燃料。还需要考虑计算设备本身的隐含碳排放,因为制造方法和组件材料采购活动也会导致碳排放——微软承认这一点。今年早些时候,微软在最近的一篇博文中讨论了高效模型训练的话题。开发人员正忙于探索减少人工智能碳足迹的方法——或者至少抑制其增长。这里的步骤包括寻找在模型微调期间减少计算和内存需求的方法,并建议在此过程的这个阶段将GPU使用量减少三倍。模型压缩也显示出前景,其中AI数据的子层被修剪为更稀疏但仍具有先前组合条件的代表性版本。在这里,研究表明,压缩模型可能需要大约40%的训练时间,同时实现类似的算法性能。开发人员还可以受益于监控工具,这些工具将查明通过优化代码或数据托管安排获得的收益。“CodeCarbon是一个轻量级的包,可以无缝集成到您的Python代码库中,”发明者写道,他们免费提供他们的工具。“它估算了用于执行代码的云或个人计算资源产生的二氧化碳(CO2)量。”未来可以部署全循环、更节能的人工智能,以帮助指导更高效的数据中心运营,以降低——你猜对了——人工智能的碳足迹。今天,CirrusNexus提供了可用的软件,数据中心运营商可以使用这些软件为碳分配成本,并通过人工智能算法进行传播。结果不仅显示了CO2计算结果,还提供了有关用户配置其设施以最大限度地提高可用环境效益的方式的见解。让支持当今技术的算法的碳足迹可见在几个方面有帮助。它开始讨论训练未来人工智能的最有效方法,让IT部门及其客户对计算的环境成本承担更多责任。最后,它可能对业务有利。引人注目的是,亚马逊今年早些时候发布了客户碳足迹工具,而谷歌等其他大公司允许客户导出云碳排放信息——一项目前处于预览阶段的服务。