训练现代计算机视觉模型Resnet-152的成本约为100亿次浮点运算，与现代语言模型相比相形见绌。训练OpenAI最新的自然语言模型GPT-3估计要消耗3000万亿次浮点运算，其中在商用GPU上的成本至少为500万美元。相比之下，人脑只需一杯咖啡就能识别人脸、回答问题和开车。我们该怎么做呢？我们已经走了很长一段路。第一台计算机是为特定目的而创建的。1822年，英国数学家查尔斯巴贝奇创造了计算多项式函数的“差分机”。1958年，康奈尔大学教授FrankRosenblatt创建了“MarkI”，这是一种用于机器视觉任务的单层感知器的物理形式。硬件和算法在早期是一回事。硬件和算法的统一随着冯诺依曼架构的出现而改变，冯诺依曼架构是一种由计算处理单元和存储数据和程序指令的存储单元组成的芯片设计。这种范式转变使得构建可以为任何任务编程的通用机器成为可能。冯·诺依曼架构已成为现代数字计算机的蓝图。但是这里有一个矛盾。数据密集型程序需要内存单元和计算单元之间进行大量通信，这会减慢计算速度。这种“冯诺依曼瓶颈”是早期人工智能尝试失败的原因。标准CPU在深度神经网络的核心计算操作（大型矩阵乘法）中效率不高。由于现有硬件的瓶颈，早期的神经网络在技术上陷入困境并且表现不佳。有趣的是，问题的解决方案并非来自学术界，而是来自游戏行业。在20世纪70年代，为加速视频游戏而开发的GPU使用数千个计算核心并行处理数据密集型操作。这种并行化是解决冯·诺依曼瓶颈的有效方法。GPU使训练更深层的神经网络成为可能，并且是现代人工智能技术中使用的当前硬件。硬件彩票人工智能领域的研究成功有很大的运气成分。谷歌研究员SaraHooker称之为“硬件彩票”：早期的AI研究人员很不幸，因为他们被缓慢的CPU所困。当GPU出现时恰好在AI领域工作的研究人员“中了”硬件彩票。他们可以利用GPU的高效加速来训练神经网络，从而取得快速进步。硬件彩票的问题在于，一旦该领域的每个人都中奖，就很难发现新事物。硬件发展缓慢，要求芯片制造商进行大量回报不确定的前期投资。一个安全的选择是优化矩阵乘法，这已成为现状。然而，从长远来看，这种对硬件和算法的特定组合的关注限制了我们的选择。让我们回到最初的问题。为什么今天人工智能如此昂贵？答案可能是我们还没有合适的硬件。硬件彩票的存在和商业激励机制，让我们很难从经济上摆脱现状。一个很好的例子是GeoffreyHinton的胶囊神经网络——一种新的计算机视觉方法。谷歌研究人员PaulBarham和MichaelIsard发现这种方法在CPU上效果很好，但在GPU和TPU上效果不佳。这背后的原因是什么？加速器针对最频繁的操作（例如标准矩阵乘法）进行了优化，但缺少胶囊卷积。他们的结论（以及论文的标题）：机器学习系统被卡住了。人工智能研究人员可能会“过度拟合”现有硬件，从长远来看，这会扼杀该领域的创新。前进的道路“取得下一个突破可能需要一种根本不同的方法：结合硬件、软件和算法来模拟世界。”在人脑中，记忆和计算不是两个独立的部分，而是发生在同一个地方：神经元。记忆源于神经元通过突触连接在一起的方式，而计算源于神经元触发和传播来自感官输入的信息的方式。就像早期的计算机一样，硬件和算法是一回事。这与我们今天构建人工智能的方式不同。由GPU和TPU提供支持的深度神经网络虽然在当今的许多任务中表现出色，但从长远来看并不是答案。也许它们只是硬件和算法结合架构广阔前景下的局部最优解。意识到仅靠算法是不够的是前进道路的开始。下一代人工智能需要硬件和算法的创新。在GPU出现之前，AI研究停滞不前。如果硬件没有突破，我们可能会再次陷入停滞不前的陷阱。
