如果从达特茅斯会议算起，AI已经走过了65个年头，尤其是近几年深度学习兴起之后，AI迎来了前所未有的繁荣。然而，近两年，中国的人工智能热潮似乎有所回落，无论是理论突破还是实际应用都遇到了挑战。外界的批评和质疑声不绝于耳，甚至一些AI从业者也有些沮丧。从1990年代到我开始攻读博士学位。在美国卡内基梅隆大学，我有幸成为一名人工智能研究人员，见证了这个领域的一些起伏。通过这篇文章，我将尝试以个人的视角来回顾人工智能的发展历程，审视我们当前的历史阶段，探索人工智能的未来在哪里。本文部分观点如下：AI时代的序幕才刚刚拉开，AI还处于初级阶段，就像法拉第刚刚发现交流电一样，还没有从技术发展到科学。以深度学习为代表的人工智能研究在过去几年取得了很多惊人的进展，但也有一部分是运气的结果，至今无人知晓真正的原理。遇到瓶颈后，深度学习有三个可能的突破方向：对深度学习、自监督学习和小样本学习的基本理解，以及知识和数据的有机结合。目前AI的最大机会：使用AI解决重要的科学问题（AIforScience）。一、人工智能的历史阶段：手工作坊虽然有人把现在归类为第三次甚至第四次人工智能浪潮，乐观地认为人工智能时代已经到来，但我更应该谨慎：人工智能无疑具有巨大的潜力，但就目前我们的能力而言，人工智能还处于比较早期的阶段，它是技术而不是科学。这不仅是中国人工智能的问题，也是全球人工智能面临的问题。深度学习这几年的飞速发展极大地改变了AI行业的面貌，让AI成为了大众每天都在使用的技术，甚至还出现了一些让大众惊艳的AI应用案例，让人误以为认为科幻电影即将成为现实。但实际上，技术的发展需要长期的积累。目前只是人工智能的初级阶段，人工智能的时代才刚刚开始。如果把AI时代比作电气时代，我们今天的AI技术还是法拉第时代的电。法拉第发现了电磁感应现象，从而研制出人类第一台交流发电机的雏形，很了不起。法拉第的先驱们，凭借丰富的实践经验，通过大量的观察和反复的实验，手工制作出各种新产品，但只是拉开了电气时代的序幕。电气时代真正的大发展很大程度上得益于电磁场理论的提出。麦克斯韦将实践经验转化为科学理论，提出并证明了具有跨时代意义的麦克斯韦方程组。如果人们对电磁学的认识停留在法拉第的水平，电气革命就不会发生。试想，如果风、雨、雷，甚至温度变化都会导致停电，电力如何成为一种普惠性产品，如何成为一种社会基础设施？各种电器产品、电子产品、通讯产品，怎么可能彻底改变我们的生活方式呢？这也是AI目前面临的问题，局限于特定场景和特定数据。AI模型一旦离开实验室，往往会因为现实世界的干扰和挑战而失效，鲁棒性不够；一旦场景发生变化，我们需要重新定制算法进行适配，费时费力，而且难以规模化和泛化。更有限。这是因为今天的人工智能在很大程度上是基于经验的。AI工程师就像当年的法拉第。他们能够做出一些人工智能产品，但他们都知道是怎么回事，也不知道为什么，也没有掌握核心原理。那么为什么人工智能至今没有成为一门科学呢？答案是技术发展远比我们想象的要慢。回顾20世纪90年代以来的二十余年，人工智能应用工程进展更加迅猛，核心技术和核心问题的突破相对有限。有些技术看似是近几年才出现，但实际上已经存在很久了。以自动驾驶为例，美国卡内基梅隆大学的研究人员开展的Alvinn项目在20世纪80年代后期开始使用神经网络实现自动驾驶。1995年成功从东向西穿越美国。它持续了7天，行驶了将近3,000英里。英里。在国际象棋方面，IBM研究人员于1992年开发的TD-Gammon，类似于AlphaZero，可以自我学习和强化，达到五子棋领域的大师级水平。1995年泛美项目开始前的团队合影。但是，由于数据和计算能力的限制，这些研究只是以点状的方式发生，并没有形成规模，自然没有引起广泛的关注公众之间的讨论。在商业普及、计算能力增强、数据获取便捷、应用门槛降低的今天，人工智能开始触手可及。但核心思想并没有发生根本性的变化。我们都在尝试用有限的样本来实现函数逼近来描述世界。有一个输入和一个输出。我们把AI的学习过程想象成一个函数的逼近过程，包括我们整个算法和训练过程，比如梯度下降，梯度回归等，同样核心问题也没有得到有效解决。学术界在1990年代提出的核心问题至今仍未得到解答。它们都与神经网络和深度学习密切相关。比如非凸函数的优化问题，它得到的解很可能是局部最优解，而不是全局最优解，在训练的时候可能无法收敛，数据有限也会带来不足概括。我们会不会因为这个解决方案而产生偏见而忽略了更多的可能性？2、深度学习：大繁荣之后遇到了发展瓶颈。毋庸置疑，近年来以深度学习为代表的人工智能研究取得了很多惊人的进展。例如，在复杂网络的训练中，产生了两个特别成功的网络。结构、CNN和变压器。基于深度学习，人工智能研究人员在语音、语义、视觉等各个领域取得了快速发展，解决了许多实际问题，实现了巨大的社会价值。但回顾深度学习的发展历程，不得不感慨AI从业者是非常幸运的。首先是随机梯度下降（SGD），极大地促进了深度学习的发展。随机梯度下降实际上是一种非常简单的方法，但有很大的局限性。它在优化上是一种收敛速度较慢的方法，但在深度网络中表现非常好，出奇的好。为什么这么好？到目前为止，研究人员还没有一个完美的答案。这种看不懂的好运气，还有residualnetwork、knowledgedistillation、BatchNormalization、Warmup、LabelSmoothing、GradientClip、LayerScaling……尤其是一些泛化能力超强，可以多场景使用。此外，在机器学习中，研究人员一直在警惕过度拟合的问题。当参数过多时，一条曲线可以很好地拟合所有的点。大概率是个问题，但在深度学习中似乎已经不是问题了……虽然很多研究者都讨论过这个问题，但仍然没有明确的答案。更令人惊讶的是，即使我们给数据一个随机标签，它也能完美拟合（见下图红色曲线），最后得到拟合误差为0。按照标准理论，这意味着模型没有有任何偏见（bias），这可以帮助我们解释任何结果。请大家想一想，能解释一切的模型真的靠谱吗，包治百病的药真的靠谱吗？理解深度学习需要重新思考泛化。ICLR,2017。说到这里，让我们从整体上回顾一下机器学习的发展，以便更好地理解现在的深度学习。机器学习发展有几波浪潮，第一波是1980年代和90年代基于规则的浪潮。从1990年代到2000年代，它由神经网络主导。每个人都发现神经网络可以做一些好事，但它有许多基本问题没有得到解答。所以在2000年代之后，一群人试图解决这些基本问题。最著名的一种称为SVM（支持向量机）。一群具有数学背景的研究人员专注于理解机器学习的过程和学习最基本的数学问题。如何实现函数更好的逼近，如何保证快速收敛，如何保证其泛化？当时研究人员非常重视理解，好的结果应该来自于我们对它的深刻理解。研究者会很关心有没有好的理论基础，因为要做好算法的分析，需要对泛函分析和最优化理论有深刻的理解，然后再做泛化理论……大概都是这些itemsneed非常好，才能在机器学习领域有发言权，否则连文章都看不懂。如果研究人员要做一个大规模的实验系统，尤其是分布式的，需要有丰富的工程经验，否则根本做不出来。那时候现成的东西不多，更多的只是理论。自己跑。但是在深度学习时代，有人做出了一个非常好的框架，方便了所有的研究者，降低了门槛。这真是了不起的事情，推动了行业的快速发展。今天要做深度学习，有好的idea就可以做。你只需要写几十行甚至几十行代码就可以运行了。成千上万的人在试验各种新项目，验证各种新想法，往往会有非常令人惊讶的结果。但我们可能需要意识到，到目前为止，深度学习已经遇到了一个很大的瓶颈。曾经帮助深度学习取得成功的好运，以及那些难以理解的黑箱效应，如今都成为了它进一步发展的桎梏。三、下一代人工智能的三个可能方向人工智能的未来在哪里？下一代人工智能会是什么？目前很难给出肯定的答案，但我认为至少有三个方向值得重点探索和突破。第一个方向是寻求对深度学习的基本理解，打破目前的黑箱状态。只有这样，人工智能才能成为一门科学。具体而言，应包括在以下关键问题上的突破：对基于DNN的函数空间进行更全面的表征；了解SGD（或更通用的一阶优化算法）；以及对泛化理论基础的重新思考。第二个方向是知识和数据的有机结合。人类不仅根据数据而且还根据知识做出很多决定。如果我们的人工智能能够有机地整合知识结构，成为其中的重要组成部分，人工智能势必会有突破性的发展。研究人员已经在做知识图谱等工作，但需要进一步解决知识与数据的有机结合，探索可用的框架。之前也有一些创新的尝试，比如MarkovLogic，把逻辑和基础理论结合起来，形成一些有趣的结构。第三个重要方向是自监督学习和少样本学习。虽然我把它列为第三种，但这是目前值得关注的一个方向，它可以弥合人工智能与人类智能之间的差距。今天我们经常听到人工智能在某些能力上可以超越人类，比如语音识别和图像识别。近日，达摩院的AliceMind也首次在视觉问答中得分高于人类，但这并不意味着AI比人类更聪明。谷歌2019年关于智力测度的论文非常有见地。核心的一点是，真正的智能不仅要有高超的技能，更重要的是它能不能学得快、适应得快、泛化得快？按照这种观点，目前的人工智能远不如人类。虽然它可能在某些方面的准确性超过人类，但可用范围非常有限。这里的根本原因在于，人类只需很小的学习成本就可以快速取得成果，尤其是聪明人——这也是我认为目前AI与人类的主要区别之一。有一个很简单的事实证明，人工智能不如人类聪明。以翻译为例，现在一个好的翻译模型至少需要数十亿的数据。如果一本书10万字左右，AI可能要读几万本书。我们很难想象一个人需要阅读成千上万本书才能学习一门语言。另一个有趣的比较是神经网络和人脑的结构。目前人工智能非常重视深度，神经网络往往有几十层甚至上百层。但是我们看人类，以视觉为例，视觉神经网络一共有四层，效率很高。而且人脑的功耗很低，只有20瓦左右，但是现在的GPU基本都是几百瓦，差了一个数量级。著名的GPT-3跑一次，碳排放量相当于一架747飞机从美国东海岸飞到西海岸3次。从信息编码上看，人脑是用时间序列编码的，而人工智能是用张量和向量来表达的。可能有人会说，人工智能的发展并不一定要向人脑智能的方向发展。我也觉得这个观点不无道理，但是当AI遇到瓶颈，找不到其他参照物的时候，参照人脑智能或许会给我们一些启示。比如对比人脑智能，今天的深度神经网络是不是最合理的方向？今天的编码方式是不是最合理的？这些是我们今天人工智能的基础，但它们是好的基础吗？应该说以GPT-3为代表的大模型也可能是深度学习的一个突破方向，可以在一定程度上实现自学习。大模型有点像把以前能看到的都拼凑起来。遇到新的场景，不需要太多的新数据。但这是最好的解决方案吗？我们还不知道。还是以翻译为例，很难想象一个人为了掌握一门外语需要打包这么多东西。大模型现在都是从几百亿、几千亿参数的规模开始的，没有人会承载那么多的数据。所以，也许我们需要继续探索。4.AI的机会：谈到AIforScience，有些人可能会感到失望。既然我们的人工智能还没有解决以上三个问题，人工智能还没有成为一门科学，那人工智能的价值在哪里呢？技术本身就具有很大的价值，比如互联网彻底改变了我们的工作和生活。人工智能作为一项技术，下一个重大机遇是帮助解决关键科学问题（AIforScience）。AlphaFold给了我们一个很好的证明，AI已经解决了困扰生物学半个世纪的蛋白质折叠问题。我们要学习AlphaFold，但没必要膜拜。AlphaFold的示范意义在于DeepMind真的很擅长选题。他们选择了一些今天基础和数据积累足够，并且有可能突破的难题，然后组建当下最好的团队，下定决心去攻克。我们可能会创造出比AlphaFold更重要的成果，因为在自然科学领域，有很多重要的开放性问题，而AI有更大的机会发现新材料，发现晶体结构，甚至证明或发现定理……AI可以颠覆传统研究方法，甚至改写历史。比如，现在有物理学家在想，AI能不能用来重新发现物理定律？在过去的数百年里，物理定律的发现靠的是天才。爱因斯坦发现了广义相对论和狭义相对论，海森堡、薛定谔等人创立了量子力学。这些都是个人行为。没有这些天才，很多领域的发展都会耽误几十年甚至上百年。但在数据越来越多、科学规律越来越复杂的今天，我们是否可以依靠人工智能推导出物理定律，而不是依靠一两个天才？以量子力学为例，其核心是天才物理学家推导出来的薛定谔方程。但现在，物理学家已经利用人工智能，通过收集到的大量数据自动推导出规律，甚至还发现了薛定谔方程的另一种写法。这真的是一件非常了不起的事情，有可能改变物理学乃至人类的未来。我们正在进行的AIEARTH项目正在将AI引入天气领域。天气预报已有数百年的历史。这是一个非常重要和复杂的科学问题。它需要超级计算机来完成复杂的计算，不仅消耗大量资源，而且不是特别准确。我们今天能否利用人工智能来解决这个问题，让天气预报变得高效准确？如果能够成功，那将是一件非常振奋人心的事情。当然，这注定是一个非常艰难的过程，需要时间和决心。5.人工智能从业者：多一些兴趣，少一些功利人工智能目前的形势是对我们所有人工智能研究人员的考验。无论是人工智能基础理论的突破，还是人工智能解决科学问题，都不是一蹴而就的，需要研究人员既有智慧又有决心。如果你不聪明，你就无法在不确定的未来中抓住机会；如果你不坚定，你可能会被吓倒。但更重要的是利益驱动，而不是利益驱动，不能急功近利。近年来深度学习的繁荣使得大量人才和资金流入中国的AI领域，迅速推动了行业的发展，但也带来了一些不切实际的期望。.DeepMind做出AlphaGo后，国内有人跟进复制，但对于核心基础创新的进步意义比较有限。由于人工智能还不是一门科学，我们要探索以前没有人做过的事情，而且很可能会失败。这意味着我们必须要有真正的兴趣，依靠兴趣和好奇心来驱动自己前进，才能在无数次的失败中幸存下来。我们可能见过DeepMind做出的AlphaGo和AlphaFold两个项目，但可能还有更多失败和不为人知的项目。在驱动兴趣方面，国外研究人员值得借鉴。就像一些获得图灵奖的顶尖科学家一样，他们每天依然在第一线做研究，自己推导理论。还记得我在CMU读书的时候，当时学校里有多名图灵奖获得者，他们经常穿梭在各种研讨会（seminar）中。我认识其中一位，ManuelBlum，他因密码学研究获得了图灵奖。有一次参加一个研讨会，发现ManuelBlum没有座位，就坐在教室的台阶上。他自己不介意坐哪里，有兴趣就来，没位子就挤。我有幸见到了诺贝尔经济学奖获得者托马斯萨金特。作为经济学家，他早就成功了，但是他60岁开始研究广义相对论，70岁开始研究深度学习，76岁和我们后辈讨论深度学习的进展……也许吧这才是对研究的真爱。说起中国，我们不必贬低自己。中国的人工智能在工程上具有世界领先的实力。承认AI目前还比较初级，并不是否定从业者的努力，而是提醒我们需要长期努力，暂时不必急于求成。如果电气时代没有法拉第这样的先行者，没有一个接一个的点状发现，就不可能总结出理论，把人类带入电气时代。同样，人工智能的发展也取决于我们怀着重大创新的梦想，日复一日地努力，不断尝试新的想法，然后再取得一些小的突破。当一些聪明的头脑能够把这些点状的突破联系起来，总结出理论，人工智能就会产生重大的突破，最终成为一门科学。我们已经半步跨入了AI时代的大门，这注定是一个比电气时代更加辉煌和激动人心的时代，但这一切的前提有赖于所有研究人员的不懈努力。
