2020年,AI技术的环保级别将是更大的核心难题。对话从艾伦人工智能研究所最近的一项研究开始,该研究所提倡优先考虑通往“绿色人工智能”的道路,即更加关注人工智能系统的能源效率。进行这项研究的动机是,艾伦研究所发现,人工智能领域所有重大进展的背后,都有惊人的碳排放量作为支撑。OpenAI在2018年发表的一篇博文指出,自2012年以来,全球超大规模AI训练带来的计算量增长了30万倍。虽然本文没有计算模型训练造成的碳排放量,但有人敏锐地发现了问题的核心并给出了答案。根据EmmaStrubel及其同事的一篇论文,美国人平均每年排放约36吨二氧化碳。相应地,利用神经结构搜索技术训练和开发一套机器翻译模型,将产生总计62.6万吨二氧化碳。不幸的是,从环境的角度来看,这些所谓的“红色人工智能”项目的实际后果可能比报道的还要糟糕。事实上,人工智能项目的时间、精力和金钱的总成本通常比实现最终结果的阶段性成本高出一个数量级。现实情况是,红色AI项目也往往是重要的和高度集中的(例如开发新的对象检测模型以改进复杂环境中的自主导航,或从大量非结构化Web数据中学习富文本表示等),它意味着只有大型科技公司和一些学术机构才有能力掌握如此庞大的计算资源。也就是说,庞大的数据规模和高昂的计算成本,会让小玩家无法涉足。那么,我们如何推动绿色人工智能的发展呢?换句话说,是否应该不惜一切代价优先推进绿色人工智能项目?红色AI不一定是坏事。今天,大多数所谓的“红色人工智能”项目旨在促进自然。语言处理、计算机视觉和其他重要人工智能领域的科学发展方面。虽然此类项目的碳成本确实相当可观,但对社会的积极影响也值得期待。例如,人类基因组计划(HGP)耗资27亿美元,耗时13年绘制出完整的人类基因组图谱。业内曾有观点认为,人类基因组计划过于复杂、成本高昂,缺乏在短时间内带来科学突破的潜力。但今天,我们可以使用测序技术在数小时内绘制出给定个体的基因组图谱,成本约为100美元。这项技术的存在是基于人类基因组计划(参考基因组)的主要成果。尽管原计划效率低下,但它仍然为未来可能完全实现的个性化医疗铺平了道路。同样,衡量红色AI项目的成本和成果也很关键。红色AI实验的大量输出(例如,用于对象识别的图像表示和自然语言处理中的词嵌入)也有望在更广泛的应用中提供巨大的推动力。通往绿色人工智能之路但无论潜在的科学回报如何,红色人工智能项目注定是不可持续的,由此产生的环境问题将扼杀一切。还是以上述项目为例,虽然人类基因组计划成功完成了人类基因的测序,但只有成本更低的新型DNA预测技术才能真正普及。也就是说,AI界在构建深度学习模型时,必须充分考虑彻底耗能的必要性。我分享一点个人看法,谈谈推动产业转向绿色AI的几个可行步骤:强调可重复性:中间结果的可重复性和共享对于提高AI开发效率至关重要。人工智能研究成果通常不会公开代码,否则其他研究人员即使拥有相同的代码也会发现自己无法复现结果。此外,研究人员在其开源工作中可能面临各种内部障碍。正是这些因素,导致今天人工智能领域的发展仍然以红色AI项目为主——这类项目可以“暴力”解决可重复性问题,同时阻止一切有效共享。但事情正在慢慢发生变化,像NeruIPS这样的重大影响会议已经要求与会者提交可重现的代码和研究论文。提高硬件性能:近年来,专用硬件的开发激增,不仅为深度学习任务带来更好的性能水平,而且显着提高了能效(即每瓦性能)。AI社区对GPU的强烈需求促使谷歌开发TPU并将其推向芯片市场,帮助用户打造属于自己的特殊解决方案。未来几年,相信Nvidia、Intel、SambaNova、Mythic、Graphcore、Cerebras等厂商会将硬件设计目标聚焦在AI工作负载层面。理解深度学习:我们都知道深度学习技术行之有效,但这项发展了几十年的技术仍然笼罩着一层层迷雾。目前的研究界并不完全理解深度学习为何以及如何运作。揭开深度学习背后的基础科学并正确描述其优势和局限性,无疑将有助于从业者开发出更准确、更高效的模型解决方案。深度学习民主化:将深度学习准确性的极限推向新的高度当然令人兴奋,但俗话说,“完美是优秀的敌人。“现有模型对于广泛的应用场景已经具备足够的准确率,几乎每个行业和科学领域都可以从深度学习工具中受益。如果所有领域的人都能接触到这项技术,我们绝对可以在无数令人惊讶的创新中在性能和能效方面加强合作:世界上大多数公司不具备构建AI技术系统的能力,但这些公司的领导者已经意识到他们需要整合AI甚至深度学习技术,在未来介入产品和服务。企业应积极与初创公司、孵化器项目、高校建立合作伙伴关系,避免独自面对人工智能发展战略的强敌。虽然今天我们在硅谷街头经常看到跑来跑去的无人车,以及技术顶峰已经到来的错觉——但请醒醒,我们的人工智能探索之旅尼刚刚迈出了第一步。在航空领域,二十世纪初的飞行“先驱时代”的特点是重要项目分散在世界各地,但总体进展十分缓慢。五十年后,在飞行的“喷气时代”,航空业经历了一个不断发展的新周期——飞机变得更大、更安全、更快、更省油。为什么?因为工程(例如涡轮发动机)和社会结构(例如监管机构)的根本进步为飞行民主化带来了必要的先决条件和促进基础。2020年代有望在AI技术方面取得更令人难以置信的进步。但在基础设施和能源效率方面,我们可能仍处于“先锋时代”。随着AI研究的发展,我们必须努力构建模型,最好的平台、工具和方法,以确保它可访问且易于重现,从而使节能AI获得动力。
