一些观点：1.AI时代才刚刚开始，AI还处于起步阶段，就像法拉第刚发现交流电一样，还没有从技术发展到科学。2、以深度学习为代表的人工智能研究近年来取得了很多惊人的进展，但也有一部分是运气的结果，至今无人知晓真正的原理。3、深度学习在遇到瓶颈后，有3个可能的突破方向：对深度学习、自监督学习和小样本学习的基本认识，以及知识和数据的有机结合。4.AI当下最大的机遇：用AI解决重要的科学问题（AIforScience）。简介如果从达特茅斯会议算起，人工智能已经走过了65个年头，尤其是近几年深度学习兴起之后，人工智能迎来了前所未有的繁荣。然而，近两年，中国的人工智能热潮似乎有所回落，无论是理论突破还是实际应用都遇到了挑战。外界的批评和质疑声不绝于耳，甚至一些AI从业者也有些沮丧。从1990年代到美国卡内基梅隆大学，我有幸成为一名AI研究者，见证了这个领域的一些起伏。通过这篇文章，我将尝试从个人的角度来回顾人工智能的发展历程，审视我们当前的历史阶段，探索人工智能的未来在哪里。金融1.人工智能的历史阶段：手工作坊虽然有人把现在归类为人工智能的第三次浪潮甚至第四次浪潮，乐观地认为人工智能时代已经到来，但我更应该谨慎：人工智能无疑具有巨大的潜在的。但就我们目前的能力而言，人工智能还处于比较早期的阶段，是技术而不是科学。这不仅是中国人工智能的问题，也是全球人工智能面临的共同问题。深度学习这几年的飞速发展极大地改变了AI行业的面貌，让AI成为了大众每天都在使用的技术，甚至还出现了一些让大众惊艳的AI应用案例，让人误以为认为科幻电影即将成为现实。但实际上，技术的发展需要长期的积累。目前只是人工智能的初级阶段，人工智能的时代才刚刚开始。如果把AI时代比作电气时代，我们今天的AI技术还是法拉第时代的电。法拉第发现了电磁感应现象，从而研制出人类第一台交流发电机的雏形，很了不起。法拉第的先驱们，凭借丰富的实践经验，通过大量的观察和反复的实验，手工制作出各种新产品，但只是拉开了电气时代的序幕。电气时代真正的大发展很大程度上得益于电磁场理论的提出。麦克斯韦将实践经验转化为科学理论，提出并证明了具有跨时代意义的麦克斯韦方程组。如果人们对电磁学的认识停留在法拉第的水平，电气革命就不会发生。试想，如果风、雨、雷，甚至温度变化都会导致停电，电如何成为普惠产品，如何成为社会基础设施？各种电器产品、电子产品、通讯产品，如何彻底改变我们的生活方式？这也是AI目前面临的问题，限于特定场景和特定数据。AI模型一旦离开实验室，往往会因为现实世界的干扰和挑战而失效，鲁棒性不够；一旦场景发生变化，我们需要重新定制算法进行适配，费时费力，难以规模化和泛化。更有限。这是因为今天的人工智能在很大程度上是基于经验的。AI工程师就像当年的法拉第。他们能够做出一些人工智能产品，但他们都知道是怎么回事，不知道为什么，也没有掌握核心原理。那么为什么人工智能至今未能成为一门科学呢？答案是技术发展远比我们想象的要慢。回顾从1990年代到现在的20年，我们看到人工智能应用工程的进步更加迅猛，核心技术和核心问题的突破相对有限。有些技术看似是近几年才出现，但实际上已经存在很久了。以自动驾驶为例，美国卡耐基梅隆大学的研究人员开展的Alvinn项目在20世纪80年代后期就开始使用神经网络来实现自动驾驶。1995年，它成功地从东向西穿越美国，历时7天，行驶近3000英里。英里。在下棋方面，IBM研究人员于1992年开发的TD-Gammon与AlphaZero类似，具有自我学习和强化的能力，在五子棋领域已经达到大师水平。但由于数据和算力的限制，这些研究只是点状发生，并没有形成规模，自然没有引起大众的广泛讨论。在商业普及、计算能力增强、数据获取便捷、应用门槛降低的今天，人工智能开始触手可及。但核心思想并没有发生根本性的变化。我们都在尝试用有限的样本来实现函数逼近来描述世界。有一个输入和一个输出。我们把AI的学习过程想象成一个函数的逼近过程，包括我们整个算法和训练过程，比如梯度下降，梯度回归等，同样核心问题也没有得到有效解决。学术界在1990年代提出的核心问题至今仍未得到解答。它们都与神经网络和深度学习密切相关。比如非凸函数的优化问题，它得到的解很可能是局部最优解，而不是全局最优解，在训练的时候可能无法收敛，数据有限也会带来不足概括。我们会不会因为这个解决方案而产生偏见而忽略了更多的可能性？2.深度学习：大繁荣后遭遇发展瓶颈毋庸置疑，近年来以深度学习为代表的人工智能研究取得了很多惊人的进展，比如在复杂网络的训练方面，产生了两个特别成功的网络结构、CNN和Transformer。基于深度学习，人工智能研究人员在语音、语义、视觉等各个领域取得了快速发展，解决了许多实际问题，实现了巨大的社会价值。但回顾深度学习的发展历程，不得不感慨AI从业者是非常幸运的。首先是随机梯度下降（SGD），极大地促进了深度学习的发展。随机梯度下降实际上是一种非常简单的方法，但有很大的局限性。它在优化上是一种收敛速度较慢的方法，但在深度网络中表现非常好，出奇的好。为什么这么好？到目前为止，研究人员还没有完美的答案。这种看不懂的好运气，还有residualnetwork、knowledgedistillation、BatchNormalization、Warmup、LabelSmoothing、GradientClip、LayerScaling……尤其是一些泛化能力超强，可以多场景使用。此外，在机器学习中，研究人员一直在警惕过度拟合的问题。当参数过多时，一条曲线可以很好地拟合所有的点。大概率是个问题，但在深度学习中似乎已经不是问题了……虽然很多研究者都讨论过这个问题，但仍然没有明确的答案。更令人惊讶的是，即使我们给数据打上随机标签，它也能完美拟合（见下图红色曲线），最终拟合误差为0。按照标准理论，这意味着模型没有任何偏差（bias），这可以帮助我们解释任何结果。请大家想一想，什么都能解释的模型真的靠谱吗，包治百病的药真的靠谱吗？（Understandingdeeplearningrequiresrethinkinggeneralization.ICLR,2017.）说了这么多，让我们从整体上回顾一下机器学习的发展历史，才能更好的理解当下的深度学习。机器学习有几波发展浪潮，第一波是1980年代和90年代基于规则的浪潮。从1990年代到2000年代，它主要基于神经网络。每个人都发现神经网络可以做一些好事，但它有许多基本问题没有得到解答。所以在2000年代之后，一群人试图解决这些基本问题。最著名的一种称为SVM（支持向量机）。如何更好地实现函数的逼近，如何保证快速收敛，如何保证其泛化？当时研究人员非常重视理解，好的结果应该来自于我们对它的深刻理解。研究者会很关心是否有很好的理论基础，因为要想把算法分析好，需要对泛函分析和最优化理论有深刻的理解，然后再做泛化理论……大概都是这些items一定要非常好，才能在机器学习领域有发言权，不然连文章都看不懂。如果研究人员要做一个大规模的实验系统，尤其是分布式的，需要有丰富的工程经验，否则根本做不出来。那时候现成的东西不多，更多的只是理论。自己跑。但是在深度学习时代，有人做出了一个非常好的框架，方便了所有的研究者，降低了门槛。这真是了不起的事情，推动了行业的快速发展。今天要做深度学习，有好的idea就可以做。你只需要写几十行甚至几十行代码就可以运行了。成千上万的人在试验各种新项目，验证各种新想法，往往会有非常令人惊讶的结果。但我们可能需要意识到，到目前为止，深度学习已经遇到了一个很大的瓶颈。曾经帮助深度学习取得成功的好运，以及那些难以理解的黑箱效应，如今都成为了它进一步发展的桎梏。三、下一代人工智能的三个可能方向人工智能的未来在哪里？下一代人工智能会是什么？目前很难给出明确的答案，但我认为至少有三个方向值得重点探索和突破。第一个方向寻求对深度学习的基本理解。打破目前的黑箱状态，只有这样人工智能才能成为一门科学。具体而言，应包括在以下关键问题上的突破：对基于DNN的函数空间进行更全面的表征；了解SGD（或广义上的一阶优化算法）；重新考虑泛化理论的基础。第二个方向是知识和数据的有机结合。人类不仅根据数据而且还根据知识做出很多决定。如果我们的人工智能能够有机地整合知识结构，成为其中的重要组成部分，人工智能势必会有突破性的发展。研究人员已经在做知识图谱等工作，但需要进一步解决知识与数据的有机结合，探索可用的框架。之前也有一些创新的尝试，比如MarkovLogic，把逻辑和基础理论结合起来，形成一些有趣的结构。第三个重要方向是自监督学习和少样本学习。虽然我把它列为第三种，但这是目前值得关注的一个方向，它可以弥合人工智能与人类智能之间的差距。今天我们经常听到人工智能在某些能力上可以超越人类，比如语音识别和图像识别。近日，达摩院的AliceMind也首次在视觉问答中得分高于人类，但这并不意味着AI比人类更聪明。谷歌2019年关于智力测度的论文非常有见地。核心的一点是，真正的智能不仅要有高超的技能，更重要的是它能不能学得快、适应得快、泛化得快？按照这个观点来看，目前AI远不如人类。虽然它可能在某些方面的准确性超过人类，但可用范围非常有限。这里的根本原因在于，人类只需很小的学习成本就可以快速取得成果，尤其是聪明人——这也是我认为目前AI与人类的主要区别之一。有一个很简单的事实证明，人工智能不如人类聪明。以翻译为例，现在一个好的翻译模型至少需要数十亿的数据。如果一本书10万字左右，AI可能要读几万本书。我们很难想象一个人需要阅读成千上万本书才能学习一门语言。另一个有趣的比较是神经网络和人脑的结构。目前人工智能非常重视深度，神经网络往往有几十层甚至上百层。但是我们看人类，以视觉为例，视觉神经网络一共有四层，效率很高。而且人脑的功耗很低，只有20瓦左右，但是现在的GPU基本都是几百瓦，差了一个数量级。著名的GPT-3跑一次，碳排放量相当于一架747飞机从美国东海岸飞到西海岸3次。再看信息编码，人脑编码的是时间序列，而AI是用张量和向量来表达。可能有人会说，人工智能的发展并不一定要向人脑智能的方向发展。我也觉得这个观点不无道理，但是当AI遇到瓶颈，找不到其他参照物的时候，参照人脑的智能或许会给我们一些启示。比如对比人脑智能，今天的深度神经网络是不是最合理的方向？今天的编码方式是不是最合理的？这些是我们今天人工智能的基础，但它们是好的基础吗？据称，以GPT-3为代表的大模型也可能是深度学习的一个突破方向，可以在一定程度上实现自学习。大模型有点像把以前能看到的都拼凑起来。遇到新的场景，不需要太多的新数据。但这是最好的解决方案吗？我们还不知道。还是以翻译为例，很难想象一个人为了掌握一门外语需要打包这么多东西。大模型现在都是从几百亿、几千亿参数的规模开始的，没有人会承载那么多的数据。所以，也许我们需要继续探索。4.人工智能的机会：说到人工智能科学，有些人可能会感到失望。既然我们的人工智能还没有解决以上三个问题，人工智能还没有成为一门科学，那人工智能的价值在哪里呢？技术本身就具有很大的价值，比如互联网，它彻底重塑了我们的工作和生活。作为一项技术，人工智能的下一个重大机遇是帮助解决关键科学问题（AIforScience）。AlphaFold给了我们一个很好的证明，AI已经解决了困扰生物学半个世纪的蛋白质折叠问题。我们要学习AlphaFold，但没必要膜拜。AlphaFold的示范意义在于DeepMind真的很擅长选题。他们选择了一些今天基础和数据积累足够，并且有可能突破的难题，然后组建当下最好的团队，下定决心去攻克。我们可能会创造出比AlphaFold更重要的成果，因为在自然科学领域，有很多重要的开放性问题，而AI有更大的机会发现新材料，发现晶体结构，甚至证明或发现定理……AI可以颠覆传统研究方法，甚至改写历史。比如现在有物理学家在想，要不要用AI来重新发现物理定律？在过去的数百年里，物理定律的发现靠的是天才。爱因斯坦发现了广义相对论和狭义相对论，海森堡、薛定谔等人。开创了量子力学，这些都是个人行为。没有这些天才，很多领域的发展都会耽误几十年甚至上百年。但在数据越来越多、科学规律越来越复杂的今天，我们是否可以依靠人工智能推导出物理定律，而不是依靠一两个天才？以量子力学为例，其核心是薛定谔方程，是一位天才物理学家推导出来的。但是现在，物理学家已经用人工智能通过收集到的大量数据自动推导出规律，甚至发现了薛定谔方程的另一种写法。这真的是一件非常了不起的事情，有可能改变物理学乃至人类的未来。我们正在推动的AIEARTH项目是将AI引入气象领域。天气预报已有数百年的历史。这是一个非常重要和复杂的科学问题。它需要超级计算机来完成复杂的计算，不仅消耗大量资源，而且不是特别准确。我们今天能否利用人工智能来解决这个问题，让天气预报变得高效准确？如果成功了，那将是一件非常振奋人心的事情。当然，这注定是一个非常艰难的过程，需要时间和决心。5.AI从业者：AI多点兴趣，少点功利的现状，是对我们所有AI研究者的考验。无论是人工智能基础理论的突破，还是人工智能解决科学问题，都不是一蹴而就的，需要研究人员既有智慧又有决心。如果你不聪明，就不可能在不确定的未来抓住机会；如果你不坚定，你可能会被吓倒。但更重要的是利益驱动，而不是利益驱动，不能急功近利。近年来深度学习的繁荣，让中国大量人才和资金涌入AI领域，迅速推动了行业发展，但也催生了一些不切实际的期望。.比如DeepMind做出AlphaGo之后，国内有人跟进复制，但是对于核心基础创新进步的意义比较有限。由于人工智能还不是一门科学，我们要去探索以前没有人做过的事情，而且很可能会失败。这意味着我们必须要有真正的兴趣，依靠兴趣和好奇心来驱动自己前进，才能在无数次的失败中幸存下来。我们可能见过DeepMind做出的AlphaGo和AlphaFold两个项目，但失败和未知的项目可能更多。在驱动兴趣方面，国外研究人员值得借鉴。就像一些获得图灵奖的顶尖科学家一样，他们每天依然在第一线做研究，自己推导理论。还记得在CMU读书的时候，学校里有多位图灵奖获得者，他们经常穿梭于各种研讨会（seminar）。我认识其中一位，ManuelBlum，他因密码学研究获得了图灵奖。有一次参加一个研讨会，发现ManuelBlum没有座位，就坐在教室的台阶上。他自己不介意坐哪里，有兴趣就来，没位子就挤。我有幸认识了诺贝尔经济学奖得主萨金特。作为一名经济学家，他已经取得了巨大的成功，但他60岁开始研究广义相对论，70岁开始研究深度学习，76岁和我们这些后辈讨论深度学习的进展……也许这就是研究的真爱吧。说起中国，我们不必低估自己。中国的人工智能在工程上具有世界领先的实力。承认AI目前还比较初级，并不是否定从业者的努力，而是提醒我们需要长期努力，不必急于一时。如果电气时代没有法拉第这样的先行者，没有一个接一个的点状发现，就不可能总结出理论，把人类带入电气时代。同样，人工智能的发展也取决于我们对重大创新的期待，日复一日的努力，不断尝试新的想法，然后再做出一些小的突破。当一些聪明的头脑能够把这些点状的突破联系起来，总结出理论，人工智能就会产生重大的突破，最终成为一门科学。我们已经半步跨入了AI时代的大门，这注定是一个比电气时代更加辉煌和激动人心的时代，但这一切的前提有赖于所有研究人员的不懈努力。
