今天的人工智能(AI)系统远不能复制真正的人类智能。但他们肯定会更好地识别数据模式和挖掘洞察力，在某些方面比我们更好。目前，人工智能模型可以识别图像、通过聊天机器人与人交谈、驾驶自动驾驶汽车，甚至可以在国际象棋中赢得胜利。但是，您是否知道训练和构建这些模型所涉及的能源和功耗是惊人的？换句话说，训练人工智能是一个高碳足迹的能源密集型过程。因此，减少这种能源消耗将对环境产生积极的连锁反应。此外，它还将为企业带来其他好处，例如减少碳足迹和更接近碳相关目标。在继续构建节能AI或绿色AI之前，我们必须了解为什么AI如此耗电？训练神经网络以神经网络模型为例。神经网络是一种强大的机器学习类型，它通过模仿人脑来模拟自己。由节点层组成的神经网络试图通过模仿人脑的功能来识别数据集中的潜在关系。每个节点都是相互连接的，并具有关联的权重和阈值。假设节点的输出值高于指定阈值，则表明该节点已激活并准备好将数据中继到神经网络的下一层。神经网络的训练涉及运行前向传递，其中输入通过它，并在处理输入后生成输出。然后，向后传递涉及使用前向传递中收到的错误，通过需要大量矩阵操作的梯度下降算法来更新神经网络的权重。2019年6月，马萨诸塞大学阿默斯特分校的一组研究人员发表了一篇关于他们研究的论文，其中他们评估了训练四个大型神经网络所需的能量消耗。这些神经网络包括：Transformer、ELMo、BERT和GPT-2，它们各自在单个GPU上训练了一天，并测量了整个过程的能耗。其中一个神经网络BERT使用了英语书籍和维基百科文章中的33亿个单词。根据KateSaenko的《对话》文章，BERT在训练阶段必须读取这个庞大的数据集大约40次。为了进行比较分析，她提到一个学习说话的5岁儿童到那个年龄段可能会听到4500万个单词，比BERT少3000倍。在UMassAmherst的研究中，研究人员发现，训练BERT曾经为往返于纽约和旧金山的乘客创造了碳足迹。该团队通过将该数字乘以每个模型的原始开发人员报告的总训练时间来计算训练每个模型消耗的总功率。碳足迹是根据美国电力生产中使用的平均碳排放量计算得出的。实验研究还包括训练和开发称为神经架构搜索的调整过程。该技术涉及通过费力的反复试验过程来自动化神经网络的设计。这一额外的调整步骤用于提高BERT的最终准确性，估计产生了626,155吨二氧化碳，大致相当于五辆汽车的总碳足迹。相比之下，美国人平均每年排放18.078吨二氧化碳。GPU饥饿借助当今强大的GPU（图形处理单元），人工智能的发展成为可能。这些GPU通常会消耗大量电力。据NVIDIA称，GPU的最大功耗为250W，是IntelCPU的2.5倍。同时，研究人员认为拥有更大的AI模型可以带来更好的准确性和性能。这类似于游戏笔记本电脑的性能，虽然游戏笔记本电脑比普通笔记本电脑更强大，但由于高性能而变得更快。如今，人们可以在几分钟内租用拥有数十个CPU和强大GPU的在线服务器，快速开发强大的人工智能模型。根据总部位于旧金山的人工智能研究实验室OpenAI的数据，从机器学习的初期到2012年，该技术所需的计算资源量每两年翻一番（这与摩尔处理器功率增长定律相当）.然而，在2012年之后，构建最先进模型的计算能力轨迹平均每3.4个月翻一番。这意味着新的计算需求转化为人工智能对环境的负面影响。现在，专家们也认为，构建大规模人工智能模型并不一定意味着在性能和准确性方面有更好的投资回报率。因此，公司可能不得不在准确性和计算效率之间做出权衡。尖峰神经网络橡树岭国家实验室的一个研究小组此前展示了一种很有前途的方法，可以通过将深度学习神经网络转换为尖峰神经网络(SNN)来提高人工智能的能源效率。SNN复制了大脑的神经触发机制，因此具有大脑的许多功能，例如能量效率和时空数据处理。橡树岭国家实验室团队通过引入贝叶斯深度学习等添加随机值的随机过程，深化了深度尖峰神经网络(DSNN)。贝叶斯深度学习是一种通过将随机值引入神经网络来模仿大脑处理信息方式的尝试。通过这一行动，研究人员知道在哪里进行必要的计算，从而减少能源消耗。目前，SNN被吹捧为神经网络的下一代迭代和神经形态计算的基础。去年，荷兰国家数学与计算机科学研究中心(CWI)和荷兰埃因霍温IMEC/Holst研究中心的研究人员成功开发了一种用于尖峰神经网络的学习算法。
