就目前的情况来看，在AI领域取得突破的深度学习模型规模越大，能耗和成本就越高。自然语言处理模型GPT-3就是一个典型的例子。为了能够在准确率和速度上与人类媲美，该模型包含1750亿个参数，占用350GB内存，产生的模型训练成本高达1200万美元。而单从成本的角度来看，其消耗的能源之庞大，大家应该都能体会到。UMassAmherst的研究人员发现，训练大型AI模型所需的计算能力往往对应超过600,000磅的二氧化碳排放量，相当于五辆家用汽车整个生命周期的排放量！更重要的是，这些模型需要在实际生产环境（即推理阶段）中消耗更多的能量，才能不断产生分析结论。根据Nvidia的估计，运行神经网络模型的成本有80%到90%来自推理阶段，而不是训练阶段。因此，有观点认为，要想保持AI技术的快速进步，就必须想办法找到一条环境可持续发展的道路。但事实证明，我们可以将大型模型缩小到可以在日常工作站或服务器上运行的大小，而准确性或速度几乎没有损失。接下来，我们来谈谈为什么机器学习模型总是那么庞大和臃肿。目前，计算能力每3到4个月翻一番。提供极高的计算效率。随着供应商竞相为深度学习应用开发功能越来越强大的专用硬件，这一发现引发了一场“军备竞赛”。相应地，数据科学家创建的模型也越来越大，希望能带来更准确的处理结果。两种力量相互交织，形成了现在的局面。OpenAI的研究证明，目前整个行业都处于这样的升级周期中。2012年至2018年间，深度学习模型的计算能力每3至4个月翻一番。这意味着在六年的时间里，AI算力增长了惊人的30万倍。如前所述，这些计算能力不仅可以用于训练算法，还可以在生产环境中更快地带来分析结果。但麻省理工学院的最终研究表明，我们可能比大家想象的更早达到计算能力的极限。更重要的是，资源级别的限制导致深度学习算法成为极少数组织的专属。我们当然希望利用深度学习来检测医学图像中的癌细胞变化，或者自动去除社交媒体上的仇恨言论，但我们确实负担不起更大、更耗电的深度学习模型。未来：少即是多幸运的是，研究人员发现了使用更智能的算法缩小深度学习模型并重新调整训练数据集使用方式的新方法。这样，大型模型也可以在低配置的小规模生产环境中运行，并根据用例持续提供必要的结果。这些技术有望使机器学习大众化，使没有资金或资源的组织能够训练算法并将结果投入生产。这对于无法容纳专用AI硬件的“边缘”用例尤其重要，包括摄像机、汽车仪表板和智能手机等小型设备。研究人员一直试图通过去除神经网络中一些不必要的连接，或者降低某些数学运算的复杂性来减小模型的大小。这些更小、更快的模型可以在任何地方以与更大模型相似的精度和性能运行。这样一来，我们无需再疯狂追求极致的算力，有望减轻对环境的重大破坏。事实上，降低模型的规模，提高模型的效率已经成为深度学习未来的发展方向。另一个重要问题是针对不同用例在新数据集上反复训练大型模型。迁移学习技术有望消除此类问题——它使用预训练模型作为起点，可以使用有限的数据集将模型的知识“迁移”到新任务中，因此我们不必重新训练初始模型从头开始建模。这不仅是降低模型训练所需计算能力的重要手段，也极大地缓解了人工智能发展给自然环境带来的能源压力。底线在哪里？只要有可能，模型应该而且必须寻求“瘦身”以降低计算能力需求。此外，模型获得的知识应该被回收和重复使用，而不必每次都从头开始进行深度学习训练过程。最终，任何有望减小模型大小和降低计算功耗（而不影响性能或准确性）的方法都将成为释放深度学习力量的重要新机会。这使得任何人都可以以低成本在生产中运行这些应用程序，同时显着降低对自然环境的压力。当“大AI”开始变小，里面就会有无数新的可能。我们期待这样的前景。
