深度学习的火爆本质上是因为人们对算力的追求。近日，麻省理工学院发出警告：深度学习正在逼近计算的极限，需要对现有技术进行改造，以“显着”提高计算效率。据麻省理工学院、安德伍德国际学院和巴西利亚大学的研究人员称，他们在最近的一项研究中发现，深度学习的进步“非常依赖”计算的增长。他们断言，持续的进步将需要“显着”更有效地使用深度学习方法，要么通过改变现有技术，要么通过尚未发现的新方法。“我们的研究表明，深度学习的计算成本不是偶然的，而是经过深思熟虑的。同样的灵活性使其能够擅长对各种现象进行建模并优于专家模型，这也使得它的计算成本大大增加。尽管如此，我们发现实际的计算负担深度学习模型的扩展速度比理论上更快，这表明需要进行实质性改进。”深度学习是机器学习的一个子领域，研究受大脑结构和功能启发的研究。算法。这些算法被称为人工神经网络，由分层排列的功能（神经元）组成，这些功能将信号传输到其他神经元。这些信号是馈入网络的输入数据的产物，从一层传输到另一层，缓慢地“调整”网络，实际上调整每个连接的突触权重。网络最终学会通过从数据集中提取特征并识别样本间的趋势来进行预测。研究人员分析了预印本服务器Arxiv.org上的1,058篇论文和其他基准，以了解深度学习性能与计算之间的联系，特别关注图像分类、对象检测、问答、命名实体识别和机器翻译等。场地。他们分别进行了两次计算需求分析，反映了两类可用的信息：1.每次网络遍历的计算量，或者给定深度学习模型操作数中单次遍历（即权重调整）所需的浮点数.2.硬件负担，或者说用于训练模型的硬件的计算能力，是用处理器数量乘以计算速度和时间来计算的。（尽管这是一个不精确的计算，研究人员承认，在他们分析的论文中，它比其他基准得到更广泛的报道。）报告称，除了从英语到德语的机器翻译（使用计算能力几乎没有变化），所有基准具有“具有统计显着性”的斜率和“强大的解释力”。对象检测、命名实体识别和机器翻译对硬件造成巨大负担，而对结果的改进相对较小，在流行的开源ImageNet基准测试中，计算能力解释了43%的图像分类准确度差异。研究人员估计，三年的算法改进相当于计算能力提高10倍。“总的来说，我们的结果清楚地表明，在深度学习的许多领域，训练模型的改进取决于所用计算能力的大幅增加，”他们写道。“另一种可能性是，改进算法本身可能需要计算能力的互补性增加。”在研究过程中，研究人员还对预测进行了外推，以了解达到各种理论基准所需的计算能力以及相关的经济和环境成本。即使是最乐观的计算也需要超过100,000次计算才能降低ImageNet上图像分类的错误率。他们的观点是，同时发布的一份报告估计，格罗弗的假新闻检测模型在华盛顿大学的培训花费了25,000美元，耗时大约两周。据报道，OpenAI花费了1200万美元来训练其GPT-3语言模型，谷歌花费了大约6,912美元来训练BERT，这是一种双向转换模型，在11项自然语言处理任务上重新定义了最先进的技术。在去年6月的另一份报告中，马萨诸塞大学阿默斯特分校的研究人员得出结论，训练和搜索模型所需的能量会排放大约626,000磅二氧化碳。这相当于普通美国汽车寿命的五倍。研究人员写道：“我们不认为这些目标所隐含的计算要求……硬件、环境和货币成本会令人望而却步。以经济的方式实现这一目标将需要更高效的硬件和更高效的算法。”或其他改进产生如此大的净影响。”研究人员指出，在算法层面进行深度学习改进已有历史先例。他们指出了诸如谷歌的张量处理单元、现场可编程门阵列（FPGA）和专用集成电路（ASIC）等硬件加速器的出现，并试图通过网络压缩和加速技术来降低计算复杂度。他们还引用神经架构搜索和元学习作为一种使用优化来寻找在一类问题上保持良好性能的架构的方法，作为计算有效方法改进的途径。计算能力确实在提高。OpenAI的一项研究表明，自2012年以来，在ImageNet图像分类中将AI模型训练到相同性能所需的计算量每16个月减少2倍。Google的Transformer架构超越了之前的状态seq2seq也是Google开发的模型，seq2seq推出三年后，计算量减少了61倍。DeepMind的AlphaZero是一个从零开始自学如何掌握国际象棋、将棋和围棋游戏的系统，其计算强度降低了八倍，与一年后该系统的前身AlphaGoZero的改进版本相当。深度学习模型计算能力的爆炸式增长结束了“AI寒冬”，并为各种任务的计算机性能设定了新的基准。但深度学习对计算能力的巨大需求限制了它以当前形式提高性能的程度，尤其是在硬件性能提升放缓的时代。这些计算限制的可能影响正在迫使……机器学习转向比深度学习更有效的技术。
