让神经网络为符号AI服务，MIT与IBM联手解决深度学习痛点如今的AI以神经网络为主，但科学家们却在尝试将神经网络与“老式AI”结合起来。这里所说的“老式AI”，就是20世纪70年代流行的“象征主义”。在几十年前失败后，“连接主义”取而代之。然而，越来越多的科学家注意到，两者的结合将使人工智能变得更加强大。将联结主义应用于象征主义几年前，科学家们从小鸭身上学到了一些不寻常的东西。如果小鸭出生后首先看到两个相似的物体，它们以后就会对相似的物体产生更多的偏好。小鸭子毫不费力地做的事情对人工智能来说很难，尤其是被称为深度神经网络的人工智能分支。如果给一个象征性的AI，它会做什么？符号AI会将对象的名称视为知识库，并将“相似性”定义为命题。凭借其知识库和命题，SymbolicAI采用推理引擎的逻辑规则来回答问题。但符号AI的缺点是需要庞大的知识库（人工构建）才能实现更复杂的推理。如果AI遇到知识库中没有的形状，就无法处理。连接主义使用知识进行训练，赋予神经网络学习能力，但容易受到对抗性攻击。于是一种结合了符号主义和联结主义的混合神经符号人工智能（neurosymbolicAI）应运而生。科学家利用深度神经网络构建符号人工智能所需的知识库和命题，无需人为预设问题，然后利用符号人工智能对任务进行推理。解决李飞飞2016年的问题2016年，李飞飞等人。提出了组合语言和基本视觉推理(CLEVR)数据集，要求AI回答有关计算机生成的简单3D形状图像的问题。这个问题可以使用复杂的深度神经网络来解决。但IBM、麻省理工学院和DeepMind的研究人员提出了一个非常不同的解决方案，展示了符号人工智能的力量。与此方法相关的论文已收录在ICLR2019中。在本文中，他们将问题分解为符号AI熟悉的较小部分。该系统首先查看图像并描述3D形状及其属性，然后从中生成知识库。然后它将问题转化为可以在知识库上运行并产生答案的符号程序。过去，在符号人工智能中，需要人类程序员手动输入知识库，现在研究人员希望用神经网络代替人类。他们首先通过使用卷积神经网络(CNN)来解决第一个问题，识别物体的颜色、形状和材料等属性。然后使用递归神经网络(RNN)发现顺序输入中的模式。该模块负责将自然语言问题转化为符号程序形式的问题。整个过程类似于按需生成知识库，让推理机在知识库上回答问题。最终，这种混合人工智能在前所未见的问题和图像上进行了测试，以98.9%的准确率击败了人类。人类只能正确回答92.6%的问题。更好的是，混合人工智能只需要纯深度神经网络训练数据的10%。混合人工智能也是可解释的，如果出现问题，可以更容易地发现问题所在。在挑战更高难度的CLEVR数据集之后，神经符号AI现在正在解决更难的问题。2019年，基于李飞飞的CLEVR数据集，DeepMind、麻省理工学院、哈佛大学和IBM设计了更复杂的挑战赛CLEVRER：让AI根据视频而不是图像来回答问题。CLEVR数据集中的物体类型会出现在视频中，但是这些物体会移动甚至碰撞，问题比较难。有些问题是描述性的，例如：视频结尾有多少金属物体在移动？有些问题需要预测，例如：接下来会发生什么事件？[a]绿色圆柱体与球体碰撞，[b]绿色圆柱体与立方体碰撞。甚至还有一些视频中不会发生的问题（反事实），例如：没有青色圆柱体，什么不会发生？[a]球体与立方体碰撞，[b]球体与青色圆柱体碰撞，[c]立方体与青色圆柱体碰撞。这种随时间变化的因果关系对于今天的深度神经网络来说非常困难，主要是在发现数据中的静态模式方面。为了解决这个问题，该团队扩展了以前的CLEVR解决方案。首先，神经网络学习将视频剪辑分解为对象的逐帧表示，然后将其馈送到另一个神经网络，该神经网络学习分析这些对象的运动以及它们如何相互影响，并可以预测对象运动和碰撞。这两个模块共同构成了知识库。其他两个模块处理问题并将其应用于生成的知识库。该团队的解决方案在回答描述性问题时的准确率约为88%，在预测性问题中的准确率约为83%，在反事实问题中的准确率约为74%。让AI学会提问提出好的问题是机器在人类身上的另一项技能。这是一种无需等待大量样本即可持续了解世界的方式。没有机器可以接近人类提出问题的能力。神经符号AI已经证明有能力做到这一点。纽约大学助理教授BrendenLake和他的学生WangZiyun构建了一个混合AI来玩需要主动提问的游戏——战舰。海战棋是一款攻防猜谜游戏。一方将自己的“战舰”（长短不一）隐藏在棋盘上，另一方负责进攻。攻击者可以看看某个方格下面是否有“军舰”的一部分，或者直接问对方：“这艘船有多长”、“三艘船的尺寸都一样吗”等等。用它来猜测船在哪里。Lake和Wang使用两种不同的方法来训练游戏AI。一种是监督学习，其中向神经网络展示棋盘和人类提出的好问题。最终，神经网络学会了提问，但很少有创意。另一个是强化学习。在这种类型的训练中，神经网络每次提出有助于它找到船只的问题时都会得到奖励。神经网络最终学会了提出正确的问题，从而变得既有用又富有创造力。Lake之前使用纯符号方法解决了这个问题，对于给定的棋盘状态，符号AI必须在巨大的空间中搜索一个好的问题，这使得它非常慢。然而，神经符号AI非常快。经过训练后，深度神经网络在生成问题方面的表现远远优于纯符号AI。后续步骤：自动驾驶麻省理工学院-IBM沃森人工智能实验室的DavidCox团队希望将这种混合人工智能用于自动驾驶技术。自动驾驶AI需要训练有素的神经网络来识别其环境中的物体并采取适当的行动。如果神经网络在训练过程中做错了什么，比如撞到行人，它就会受到惩罚。另一位小组成员NathanFulton解释了该机制：“为了学会不做坏事，它必须做坏事，体验那些坏事，然后在做坏事之前找出30个步骤，以防止自己陷入麻烦”因此，AI学习安全驾驶需要大量的训练数据，而这些“坏东西”让AI很难在现实世界中进行训练。Fulton和他的同事们正在研究一种神经符号AI方法来克服这一限制。AI的符号部分通过限制现实世界中的某些危险行为来约束深层网络的行为。通过从一开始就排除某些选择，这种简单的符号干预大大减少了训练人工智能所需的数据量。“如果代理不需要遇到一堆糟糕的状态，那么它只需要更少的数据，”富尔顿说。尽管该项目仍未准备好在实验室外使用，但Cox设想了一个未来，带有神经符号AI的汽车可以在现实世界中学习，符号组件可以作为防止不良驾驶的保障。原文地址：https://knowablemagazine.org/article/technology/2020/what-is-neurosymbolic-ai论文地址：https://arxiv.org/abs/1910.01442
