虽然人工智能已经诞生了半个多世纪，但人工智能领域在过去的十年里发展非常迅速。自2012年ImageNet竞赛开启现代深度学习时代至今仅8年。从那时起，人工智能领域取得了惊人的进步，人工智能已经融入到我们日常工作和生活的方方面面。专家表示，这种惊人的速度只会越来越快。五年后，人工智能领域将与今天大不相同。目前被认为是最先进的方法将被淘汰；今天刚刚出现或处于边缘的方法将成为主流。下一代人工智能会是什么样子？哪些新的AI方法将释放目前在技术和商业领域无法想象的可能性？之前的文章《下一代人工智能的发展方向 (上)》涵盖了AI中的三个新兴领域，（无监督学习、联邦学习和Transformer）是未来几年将重新定义AI领域和社会的领域。本文将介绍三个更多：4.NeuralNetworkCompression人工智能正在走向边缘。能够直接在边缘设备（例如手机、智能扬声器、相机、车辆）上运行人工智能算法，而无需从云端来回发送数据，这具有巨大的优势。也许最重要的是，边缘AI增强了数据隐私，因为数据不需要从其来源移动到远程服务器。EdgeAI还具有较低的延迟，因为所有处理都在本地进行。这对于时间敏感的应用程序（例如自动驾驶汽车或语音助手）至关重要。它更节能、更具成本效益，成为机器学习扩展的计算和经济成本的一个越来越重要的考虑因素。此外，它还使人工智能算法能够在没有互联网连接的情况下自主运行。NvidiaCEO黄仁勋是AI商业世界的巨头之一，他将边缘AI视为计算的未来：“AI正在从云端走向边缘，连接到AI计算机的智能传感器可以加速许多应用程序，并节省能源。随着时间的推移，将会有数万亿台由人工智能驱动的小型自主计算机。”但是，要使边缘智能无处不在的崇高愿景成为现实，需要一项关键的技术突破：人工智能模型需要变得更小，比现在小得多。因此，在不损害神经网络性能的情况下开发和商业化压缩神经网络的技术已成为人工智能领域最重要的追求之一。今天，典型的深度学习模型非常庞大，需要大量的计算和存储资源才能运行。OpenAI的新语言模型GPT-3凭借高达1750亿个模型参数成为今年夏天的头条新闻，仅存储模型就需要超过350GB的空间。即使是规模不接近GPT-3的模型仍然是计算密集型的：ResNet-50是几年前开发的一种广泛使用的计算机视觉模型，每秒使用38亿次浮点运算来处理图像。这些模型不能在边缘运行。边缘设备（如手机、Fitbit或Roomba中的芯片）中的硬件处理器不够强大，无法支持它们。因此，开发使深度学习模型更轻量级的方法是关键：它将解锁围绕去中心化人工智能构建的大量产品和商业机会。这种模型压缩将如何工作？近年来，研究人员和企业家在这一领域取得了长足进步，开发了一系列用于小型化神经网络的技术。这些技术可以分为五个主要类别：缩减、量化、低秩分解、紧凑型卷积滤波器和知识蒸馏。减少涉及识别和删除神经网络中冗余或不重要的连接以使其更精简。量化通过使用更少的位来表示值来压缩模型。在低秩分解中，模型的张量被分解以构建近似原始张量的稀疏版本。紧凑型卷积滤波器是专门为减少执行卷积所需的参数数量而设计的滤波器。最后，知识蒸馏涉及使用模型的完整版本来“教”一个较小的模型来模仿其输出。这些技术中的大多数相互独立，这意味着它们可以串联部署以改善结果。实际上，其中一些（缩减、量化）可以应用于现有模型，而其他一些（紧凑型过滤器、知识蒸馏）则需要从头开始开发模型。一些初创公司已经出现，将神经网络压缩技术从研究中带入市场。比较有前途的是PilotAI、LatentAI、EdgeImpulse和Deeplite。例如，Deeplite声称其技术可以在不牺牲性能的情况下使神经网络体积缩小100倍，速度提高10倍，能效提高20倍。“在过去十年中，世界上具有一定计算能力的设备数量呈爆炸式增长，”PilotAI首席执行官JonSu解释道。“PilotAI的核心IP显着减小了用于对象检测和跟踪等任务的AI模型的大小，允许AI/ML工作负载直接在边缘物联网设备上运行。今天出现的数十亿个传感器（例如按钮式门铃、恒温器或车库开门器）被转化为丰富的工具，可以为下一代物联网应用提供动力。”大型科技公司正在积极收购这一类别的初创公司，强调该技术的长期战略重要性今年早些时候，苹果公司以2亿美元的价格收购了总部位于西雅图的Xnor.ai。Xnor的技术将帮助Apple在其iPhone和其他设备上部署边缘人工智能功能。特斯拉于2019年收购了该领域的早期先驱之一DeepScale，以支持其车辆的推理。多年来最重要的技术交易之一——Nvidia上个月宣布以400亿美元收购Arm——主要是由于随着AI向边缘移动，向高效计算的转变加速。英伟达CEO黄仁勋在谈到这笔交易时强调了这一点：“能源效率是未来计算中最重要的事情……英伟达和Arm将在这个人工智能时代共同打造一家世界级的计算公司。”在接下来的几年里，人工智能将变得不受束缚、去中心化和环境化，在边缘的数万亿台设备上运行。模型压缩是一项重要的支持技术，将有助于实现这一愿景。5.生成式人工智能今天的机器学习模型主要是对现有数据进行交织和分类：例如，识别人脸或识别欺诈行为。生成式AI是一个快速发展的新领域，专注于构建能够生成自己新颖内容的AI。简而言之，生成式AI使AI超越感知，走向创造。生成式人工智能的核心是两项关键技术：生成对抗网络(GAN)和变分自编码器(VAE)。这两种方法之所以有趣，是因为GAN是由IanGoodfellow于2014年发明的，当时AI先驱YoshuaBengio正在蒙特利尔大学攻读博士学位。Goodfellow的概念突破是使用两个独立的神经网络构建GAN，然后让它们相互对抗。从给定的数据集（例如，面部照片的集合）开始，第一个神经网络（称为“生成器”）开始生成新图像，这些新图像在像素方面与现有图像在数学上相似。与此同时，第二个神经网络（“鉴别器”）被输入照片，但没有被告知它们是来自原始数据集还是来自生成器的输出。它的任务是识别合成照片。随着两个网络不断地相互交互（生成器试图愚弄鉴别器，鉴别器试图暂停生成器的创建），它们磨练了彼此的能力。最终，鉴别器的分类成功率下降到50%，不亚于随机猜测，这意味着合成生成的照片与原始照片无法区分。2016年，人工智能大师YannLeCun称GAN为“过去十年机器学习中最有趣的想法”。VAE与GAN大约同时推出，是一种概念上相似的技术，可以用作GAN的替代方案。与GAN一样，VAE由两个协同工作以产生输出的神经网络组成。第一个网络（“编码器”）获取一段输入数据并将其压缩为低维表示。第二个网络（“解码器”）采用这种压缩表示，并基于原始数据属性的概率分布和随机函数，生成一个新的输出，将“riff”馈送到原始输入中。一般而言，GAN的输出质量高于VAE，但构建起来更困难且成本更高。与更广泛的人工智能类似，生成式人工智能激发了有益和可怕的现实世界应用。只有时间会证明谁将占据主导地位。从积极的方面来看，生成人工智能最有前途的用例之一是合成数据。合成数据是一种可能改变游戏规则的技术，它使从业者能够以数字方式构建他们训练AI模型所需的确切数据集。如今，访问正确的数据既是人工智能最重要也是最具挑战性的部分。通常，为了训练深度学习模型，研究人员必须从现实世界中收集数千个数据点。然后，他们必须在每个数据点上贴上标签，然后模型才能从数据中学习。这充其量是一个昂贵且耗时的过程。最糟糕的是，您需要的数据根本无法获得。合成数据颠覆了这种范式，使从业者能够按需人工创建高保真数据集以满足他们的精确需求。例如，使用合成数据方法，自动驾驶汽车公司可以生成数十亿种不同的驾驶场景供他们的车辆学习，而无需在现实世界的街道上实际遇到这些场景中的每一个。随着合成数据准确地接近真实世界的数据，它将使人工智能民主化，降低专有数据资产的竞争优势。在一个可以按需廉价生成数据的世界中，跨行业的竞争动态将被颠覆。许多有前途的初创公司纷纷涌现来抓住这一机会，包括AppliedIntuition、ParallelDomain、AI.Reverie、SynthesisAI和Unlearn.AI。包括英伟达、谷歌和亚马逊在内的大型科技公司也在大力投资合成数据。合成数据的第一个主要商业用例是自动驾驶汽车，但该技术正在迅速传播到从医疗保健到零售等各个行业。为了抵消合成数据的巨大积极潜力，生成人工智能的另一种应用有可能对社会产生广泛的破坏性影响：DeepFakes。从本质上讲，DeepFakes技术使任何拥有计算机和互联网连接的人都可以创建看起来逼真的照片和视频，这些照片和视频显示人们在说和做的事情实际上并没有说或做，只是另一个人的脸而已。Deepfake技术被广泛部署的第一个用例是成人内容。根据初创公司Sensity2019年7月的一份报告，96%的在线Deepfake视频都是关于成人内容的。Deepfakes几乎总是在未经同意的情况下进行，并且涉及以名人或个人联系人为特色的人为露骨视频。从互联网的这些阴暗角落，deepfakes的使用已经开始蔓延到政治领域，在那里造成的损害要大得多。最近在加蓬、马来西亚和巴西发生的与deepfakes相关的政治事件可能是即将发生的事情的早期例子。在最近的一份报告中，布鲁金斯学会严厉地总结了deepfakes带来的一系列政治和社会危险：“扭曲民主话语；操纵选举；破坏对机构的信任；削弱新闻业；加剧社会分裂；破坏公共安全；并对社会造成无法弥补的损害。知名人士的声誉，包括民选官员和公职候选人。”合成数据和deepfakes的核心技术是一样的。然而，用例和潜在的现实世界影响是截然相反的。技术的一个重要真理是，任何给定的创新都可能对人类带来巨大利益或对社会造成严重危害，这取决于人类选择如何使用它。核能也是如此。互联网就是如此。人工智能也是如此。生成式人工智能就是一个有力的例子。6.“Syetem2”推理诺贝尔奖得主心理学家丹尼尔·卡尼曼在其里程碑式的著作《思考，快与慢》中普及了“系统1”思维和“系统2”思维的概念。system1是一个直觉系统，主要负责快速的、无意识的、非语言的认知，这就是深度学习目前正在做的事情；system2是一个逻辑分析系统，是一个有逻辑、有计划、有推理、有语言表达的有意识的系统。这是未来深度学习需要重点关注的。system1的思路是直观、快速、简单和自动化。system1的活动示例包括识别朋友的脸、阅读经过的广告牌上的文字或填写“与_______开战”等字样。system1几乎不需要有意识的处理。系统2思考速度较慢，更具分析性和审慎性。当需要费力推理来解决抽象问题或处理新情况时，人们会使用系统2思维。system1活动的示例包括解决复杂的脑筋急转弯或确定特定行为在社交环境中的适当性。尽管system11/system12框架是为分析人类认知而开发的，但它很好地映射到当今的人工智能世界。简而言之，当今最先进的人工智能系统在系统1任务上表现出色，但在系统2任务上表现不佳。AI领导者AndrewNg总结得很好：“如果一个普通人可以花不到一秒钟的时间来完成一项脑力任务，我们现在或在不久的将来就可以使用AI将其自动化。YoshuaBengio在他的NeurIPS2019主题演讲中探讨了这个确切的主题。在演讲中，Bengio呼吁AI寻求新的方法，使AI系统能够从System1任务扩展到System2功能，例如规划、抽象推理、因果理解和开放式泛化。“我们希望机器能够理解世界，能够建立良好的世界模型，能够理解因果关系，并且能够在世界上采取行动来获取知识，”本吉奥说。有许多不同的方式来组织AI学科的议程、轨迹和抱负。但也许最强大和最紧凑的方式是：为了进步，人工智能需要更好地进行system2思考。目前还没有人确切知道转向System2AI的最佳方式。近年来，关于如何做到这一点的争论经常引起争议。这场辩论提出了关于智力概念的基本哲学问题。Bengio坚信System2推理可以在当前的深度学习范例中实现，尽管可以对当今的神经网络进行进一步的创新。“有些人认为我们需要发明一些全新的东西来应对这些挑战，或许可以回到经典人工智能来解决高级认知等问题，”本吉奥在NeurIPS的主题演讲中说。“然而，我们现在有一条路径，它扩展了深度学习的能力，可以解决认知系统2中的此类高级问题。”Bengio指出，注意力机制、持续学习和元学习是深度学习中的现有技术，它们与追求System2AI尤其相关。重置。教授兼企业家加里·马库斯(GaryMarcus)一直是System2智能的非深度学习方法的特别倡导者。Marcus呼吁将神经网络与符号方法相结合的混合解决方案，这些方法在AI研究的最初几年很流行，但最近却失宠了。“深度学习只是构建智能机器这一更大挑战的一部分，”Marcus在2012年现代深度学习时代的黎明时在《纽约客》中写道。“这些技术缺乏表达因果关系的方法，并且可能在获取抽象思想方面面临挑战......它们没有明显的逻辑推理手段，并且远未整合抽象知识（例如关于对象是什么，它们是做什么用的），以及它们是如何常用的方式。”Marcus与他人共同创立了机器人初创公司Robust.AI，以寻找可以推理的AI替代路径。就在最近，Robust宣布了1500万美元的A轮融资。计算机科学家JudeaPearl是另一位A领先的思想家，他认为系统2推理的途径超越了深度学习。Pearl多年来一直主张因果推理（理解因果关系的能力，而不仅仅是统计关联）是构建真正智能机器的关键。正如Pearl最近所说：“深度学习等曲线拟合的所有令人印象深刻的成就。”在本系列探索的六个AI领域中，最后一个目标是最开放和抽象的。通往S的道路系统2AI很多。前方的路依然迷雾重重。这可能是一段坎坷的旅程，但它将在我们有生之年改变经济和世界。
