只需几张贴纸就可以“改变”交通标志识别结果，转个方向就看不到图片中的动物种类了。今天的人工智能系统经常会出现莫名其妙的错误。这篇在《自然》杂志最新一期的文章向我们介绍了为什么深度学习如此容易出错，以及解决这些问题的研究方向。一辆自动驾驶汽车没有在接近停车标志时停下来，而是加速进入了一个繁忙的十字路口。一份事故调查报告显示，汽车做出这个决定是因为四个小矩形被贴在停车标志的表面。通过这种方式，自动驾驶汽车将停车标志识别为“限速45”。这种事件在现实中并没有真正发生过，但故意破坏人工智能系统的可能性是真实存在的。停车标志上的贴纸、帽子和眼镜上的贴纸可能会成功骗过自动驾驶系统和人脸识别系统，研究人员已经使用白噪声来骗过语音识别系统。这些示例说明了欺骗领先的AI模式识别系统（称为深度神经网络）是多么容易。这些系统在我们的生活中已经无处不在，但即使是最好的神经网络也可能通过对这些系统的输入进行微小的更改而被愚弄。在寻找问题的过程中，研究人员发现了DNN失败的许多原因。“深度神经网络固有的脆弱性是无法弥补的，”谷歌人工智能工程师Fran?oisChollet指出。Chollet和其他人认为，为了克服这些缺点，研究人员需要用其他优势来支持模式匹配DNN：例如，使AI能够探索世界、编写自己的代码并保留记忆。一些专家认为，此类系统将成为未来十年人工智能研究的主题。接受现实检验2011年，Google推出了可以识别猫的系统，从此掀起了DNN分类系统的研究高潮。人们惊呼：计算机终于可以理解世界了！但AI研究人员知道，DNN实际上并不了解这个世界。它们大致模仿了大脑的结构，但实际上是由分布在许多层上的数字神经元组成的软件结构。每个神经元与其相邻层中的神经元相连。基本思想是原始输入的特征（例如图像的像素）进入底层，触发一些神经元，然后根据简单的数学规则将信号传递给上层的神经元。训练一个DNN网络需要将它暴露在大量的样本中，然后每次调整神经元的连接方式，最后上层得到想要的答案，比如将狮子的图像识别为狮子，即使DNN从来没有见过这张狮子的照片。DNN的第一次主要测试发生在2013年。当时，谷歌研究员ChristianSzegedy和他的同事发表了一篇题为“‘Intriguingpropertiesofneuralnetworks’”的预印本论文。该团队表明，修改几个像素可能会误导DNN将狮子识别为其他对象，例如图书馆。他们称修改后的图像为“对抗样本”。一年后，Clune等人的团队。表明可以让DNN看到不存在的物体，例如波浪线中的企鹅。“任何做过机器学习研究的人都知道，这些系统经常会犯低级错误，”YoshuaBengio说，“但这种错误是令人惊讶和意想不到的。”新型错误正在出现。去年，Nguyen证明了简单地旋转物体就可以淘汰当前最好的图像分类器。今年，Hendrycks等人。据报道，即使是未经改动的自然图像也能骗过当前最好的分类器，将蘑菇识别为饼干。这个问题不仅限于对象识别：任何使用DNN对输入进行分类的AI都可能被愚弄，就像在使用强化学习的游戏AI中一样，向屏幕添加几个随机像素可能会使代理输掉游戏。DNN的弱点为黑客提供了接管AI系统的机会。去年，谷歌的一个团队表明，使用对抗性示例不仅可以迫使DNN做出某个错误的决定，还可以彻底改变程序，有效地使用一个为另一项任务训练的人工智能系统。许多神经网络理论上可用于编码任何其他计算机程序。“理论上，你可以将聊天机器人变成任何你想要的程序，”Clune说。在不久的将来，黑客将能够劫持云端的神经网络来运行他们自己的垃圾邮件规避算法。加州大学伯克利分校的计算机科学家DawnSong认为，DNN很容易被攻击，但很难防御。越强大，越脆弱的DNN非常强大，因为它们有很多层，这意味着它们可以识别输入的不同特征模式。经过训练，用于识别飞机的AI算法可能会发现色块、纹理、背景等因素与预测目标相关。但这也意味着，输入内容的微小变化，都可能导致AI的识别结果发生重大变化。一种解决方案是简单地向AI提供更多数据，尤其是在更多训练出错的情况下，以纠正错误。在这种“对抗性训练”的情况下，一个网络学习识别物体，而另一个网络试图修改第一个网络的输出，从而犯错误。通过这种方法，对抗性示例成为DNN训练数据的一部分。Hendrycks等研究人员建议测试DNN在各种对抗性示例上的性能，以量化DNN对犯错的鲁棒性。他们表明，训练神经网络抵抗一种攻击可能会削弱其对其他攻击的抵抗力，并且强大的DNN不应通过输入中的小扰动来改变其输出。这种由于扰动而改变最终结果的特性很可能在数学层面被引入神经网络，这限制了DNN的学习方式。然而，当时没有人能够解决所有AI都是脆弱的问题。根据Bengio的说法，问题的根源在于深度神经网络中没有一个好的模型可以选择重要的东西。当AI查看将狮子篡改成图书馆的图片时，人类仍然可以看到狮子，因为他们有一种心智模型将动物视为更高级别的特征——如耳朵、尾巴、鬃毛等。其他低级特征级别细节被忽略。“我们知道从先验知识中学习哪些特征很重要，”Bengio说，“这来自对结构化世界的深刻理解。”解决这个问题的一种尝试是将DNN与符号AI相结合。符号人工智能也是机器学习之前人工智能的主要方法。通过符号人工智能，机器可以使用关于世界如何运作的硬编码规则进行推理，例如它由以各种方式相互关联的离散对象组成。纽约大学心理学家加里马库斯等一些研究人员表示，混合人工智能模型是前进的方向。“深度学习在短期内非常有用，以至于人们对长期视而不见，”长期以来一直批评当前深度学习方法的马库斯说。5月，他在加利福尼亚州帕洛阿尔托与他人共同创立了一家名为RobustAI的初创公司，旨在将深度学习与基于规则的AI技术相结合，开发可以与人一起安全操作的机器人。该公司正在进行的工作仍处于保密状态。即使可以将规则嵌入到DNN中，它们也只能像学习一样好。Bengio说，人工智能代理需要在可以探索的更丰富的环境中学习。例如，大多数计算机视觉系统无法识别一罐啤酒是圆柱形的，因为它们仅在2D图像数据集上进行训练。这就是为什么像Nguyen这样的研究人员发现我们可以通过从不同角度观察物体来欺骗DNN。然而，人工智能的学习方式也需要改变。“理解因果关系必须完成一些现实世界的任务，而代理可以试验和探索现实世界，”本吉奥说。另一位深度学习先驱JürgenSchmidhuber表示，模式识别的力量足以让阿里巴巴、腾讯、亚马逊、Facebook和谷歌等企业成为世界上最有价值的公司。“但将会有更大的浪潮，其中涉及代理人操纵现实世界并通过自己的行为创建自己的数据，”他说。从某种意义上说，强化学习在人工环境中解决电脑游戏的方式已经是这样了：通过反复试验，智能体以规则允许的方式操纵屏幕上的像素，直到达到目标。然而，现实世界比当今训练大多数DNN的模拟环境或数据集复杂得多。简易机器人如下图所示，一只机械臂在加州大学伯克利分校的实验室里翻找杂物。它拿起一个红色的碗，用它把蓝色的烤箱手套向右推几厘米。它放下碗，拿起一个空的塑料分配器，测量平装本的重量和形状。经过几天的筛选，机器人开始对这些奇怪的物体有了感觉，知道它们的用途。机械臂正在使用深度学习来自学使用工具。给定一盘物体，它依次拿起每个物体并观察当它移动它们并将一个物体撞到另一个物体时会发生什么。当研究人员给机器人一个目标时，例如向它展示一个几乎空托盘的图像，并指示机器人排列物体以匹配该状态。通过这种方式，机器人可以与以前从未见过的物体互动并即兴行动，例如用海绵擦拭桌子上的物体。机器人还意识到用塑料水瓶清除挡路的物体比捡起它们更快。伯克利实验室研究员ChelseaFinn认为，总的来说，这种类型的学习可以导致对物体和世界的更深入理解。如果您只在照片中见过水壶或海绵，您或许能够在其他图像中认出它们。但是，您不会真正了解它们是什么或它们的用途。因此，芬恩说，只有真正与他们接触，才能更深入地了解他们。然而，这个学习过程是缓慢的。在模拟环境中，AI可以非常快速地完成示例。例如，2017年，DeepMind的AlphaZero自学游戏软件被训练可以下围棋、国际象棋和将棋。当时，AlphaZero为每个项目进行了超过2000万次训练。人工智能机器人学习这种能力的速度很慢。人工智能和机器人公司Ambidextrous的联合创始人JeffMahler表示，在深度学习领域，几乎所有的结果都极度依赖于大量数据。“在单个机器人上收集数千万个数据点需要数年的连续执行时间，”他说。此外，数据可能不可靠，因为传感器校准会随着时间的推移而改变，并且硬件会退化。因此，大多数涉及深度学习的机器人技术工作仍然使用模拟环境来加速训练。亚特兰大佐治亚理工学院机器人学博士生大卫肯特认为，你学到的东西取决于模拟器的好坏。模拟器一直在改进，研究人员也越来越善于将从虚拟世界中学到的经验教训转移到现实世界中。然而，这样的模拟仍然无法应对现实世界的复杂性。芬恩认为，与使用人类数据进行学习相比，使用机器人进行学习最终将更容易扩展。她建造的使用工具的机器人花了几天时间来学习一项相对简单的任务，不需要大量监控。“你只需运行机器人，你需要每隔一段时间检查一次，”她说。她想象有一天，世界上有许多机器人可以使用自己的设备并全天候学习。这应该是可能的——毕竟，这就是人们认识世界的方式。“孩子们无法通过从Facebook下载数据来学习，”Schmidhuber说。从较少的数据中学习的要点是，一个小孩子也可以从几个数据点识别新物体：即使他们以前从未见过长颈鹿，他们看到一两次后仍然可以识别它。这么快就能认出的部分原因是孩子除了长颈鹿之外还见过许多其他生物，因此熟悉它们的显着特征。将这些能力赋予AI的总称是迁移学习：将之前通过培训获得的知识迁移到其他任务中。实现迁移的一种方法是在训练新任务时重用全部或部分预训练任务作为起点。例如，重用DNN中已经接受过动物识别训练的部分（例如识别基本体型的层）可以在学习识别长颈鹿时为新网络提供优势。迁移学习的一种极端形式旨在通过向其展示少量示例（有时甚至只有一个）来训练新网络。这种已知的单次或少次学习在很大程度上依赖于预训练的DNN。例如，如果您想构建一个可以识别犯罪数据库中人员的人脸识别系统，使用具有数百万张人脸（不一定是数据库中的人脸）的DNN可以帮助识别系统学习关键特征，例如鼻子和下巴的形状。所以，拥有这种预训练的记忆可以帮助人工智能识别新的例子而无需看到很多模式，从而可以加快机器人的学习速度。然而，当面对一些超出其经验范围的任务时，此类DNN可能仍然表现不佳。这些网络的泛化能力如何也不清楚。例如，最成功的人工智能系统，如DeepMind的AlphaZero，专业知识极其有限。可以训练AlphaZero同时下围棋和下国际象棋，但不能同时下棋。LearninghowtolearnAlphaZero在游戏中的成功不仅归功于有效的强化学习，还得益于一种算法（使用蒙特卡洛树搜索技术的变体）帮助AlphaZero缩小One-step选择范围。换句话说，人工智能学会了如何最好地从其环境中学习。Chollet认为，AI的下一个重大进步将是让DNN能够编写自己的算法，而不仅仅是使用人类提供的代码。Chollet还表示，用基本模式匹配补充推理将使AI能够更好地处理其舒适区之外的输入。计算机科学家多年来一直致力于程序合成，即让计算机自动生成代码的过程。因此，在他看来，将这一领域与深度学习相结合可能会导致DNN系统更类似于人类使用的抽象心智模型。例如，在机器人技术领域，Facebook人工智能研究所(FAIR)的计算机科学家KristenGrauman正在教机器人自己如何最有效地探索新环境。该领域的研究人员表示，他们在修复深度学习缺陷方面取得了一些进展，但他们也在探索使DNN不那么脆弱的新技术。根据Song的说法，深度学习背后并没有太多可遵循的理论。如果出现问题，可能很难找出原因。整个领域在很大程度上仍然是经验主义的，因此研究人员必须尝试自己弄清楚。目前，虽然科学家们意识到DNN的脆弱性及其对数据的过度依赖，但大多数人认为DNN技术将继续存在并不断发展。需要承认的是，近十年来，神经网络与海量计算资源相结合，经过训练可以很好地识别模式。但不幸的是，Clune认为，没有人真正知道如何改进DNN技术。
