人类已经教会深度神经网络做出惊人的事情，从识别和推理图像中的对象，到在Atari游戏和围棋游戏中的超人表现。随着神经网络的结构及其执行的任务越来越复杂，神经网络学习到的解决问题的方法也越来越难以被人类理解。人们称这个问题为“黑匣子”。随着神经网络越来越多地参与解决现实世界的问题，解决这个黑盒问题变得越来越重要。为了理解和解释这些神经网络系统，DeepMind研究人员一直在探索新的工具和方法。最近，ICML收录了一篇来自DeepMind的论文，他们在论文中提出了一种从认知心理学角度理解深度神经网络的新方法。认知心理学通过对行为的测量来推测认知过程的机制。许多认知心理学论文详细解释了这些机制，并介绍了许多实验方法来验证这些机制。随着最先进的神经网络在特定任务上达到人类水平的性能，认知心理学的方法可以极大地帮助解决黑盒问题。黑箱DeepMind在论文中研究了一个具体的案例来表明他们的观点。他们设计了一个实验来阐明人类的认知过程，以比较和帮助理解深度神经网络如何解决图像分类任务。事实证明，认知科学家在人类身上观察到的行为也可以在这些深度神经网络中观察到。更进一步，人们可以从这些结果中深入了解神经网络如何解决不仅有用而且令人惊讶的图像分类任务。总的来说，这个案例研究的成功证明了认知心理学方法在理解深度学习系统方面的潜力。在一次性词汇学习模型中测量形状偏好在这个DeepMind案例研究中，他们考虑了人类儿童如何识别和分类物体，这个问题在发展认知心理学中也得到了广泛研究。孩子们从一个例子中猜测单词含义的能力，被称为“一次性词汇学习”，非常容易获得，以至于人们常常认为这个过程非常简单。然而，哲学家WillardVanOrmanQuine提出了一个经典的思想实验，表明这个过程实际上是多么复杂：一名实地语言学家旅行去体验另一种文化，这种文化说的语言与他以前使用的语言不同。完全不同。语言学家需要愿意帮助他的当地人教他一些单词。当一只兔子跑过时，当地人会说“gavagai”，而语言学家不得不猜测当地人所说的这个词的意思。对于语言学家来说，这个词可以指代很多东西，它可能是兔子、动物、白色的东西、特定的兔子，甚至是兔子的一部分。事实上，这个词可以指代的意象有无穷多个。人类如何从中选择正确的呢？“gavagai”50年后，同样的问题再次出现在能够一次性学习词汇的深度神经网络中。以DeepMind开发的“匹配网络”为例。该模型使用注意力模型和记忆模型的最新发展，仅通过单个分类示例即可实现最先进的ImageNet图像分类。但是我们不知道网络在对图像进行分类时所做的假设是什么。为了更深入地研究这个问题，DeepMind的研究人员转向了发展心理学的研究。这些心理学家发现了儿童具有归纳偏好的证据。这种偏好可以排除很多不正确的典故，让他们找到正确的典故。这些偏好包括：整体对象偏好，孩子假设一个词指的是整个对象而不是它的组成部分（消除蒯因关于指兔子的各个部分的担忧）类别偏好，孩子假设一个词指的是基本类别对象所属的对象（消除蒯因对指称“所有动物”而不是“兔子”的基本含义的担忧）形状偏好，儿童根据对象的形状而不是其颜色或质地来假定名词的含义为了确定（消除蒯因提到所有白色事物而不是“兔子”作为特定对象的顾虑），DeepMind的研究人员测量了他们的神经网络的形状偏好，这是基于对人类形状偏好的相关研究，特别多。来自认知心理学的刺激示例，DeepMind使用它来衡量深度神经网络的形状偏好。这些图像由印第安纳大学认知发展实验室的琳达史密斯慷慨提供。DeepMind研究人员使用的经典形状偏好实验是这样进行的：向深度神经网络展示三个物体的图片，一个测试物体，一个形状匹配物体（与测试物体形状相同），以及一个颜色匹配物体（与测试对象相同的颜色和不同的形状）。然后将形状偏好测量为测试对象和形状匹配对象被网络分类为同一类的出现比例。实验中使用的图像与印第安纳大学认知发展实验室的人体实验中使用的图像相同。这个认知心理学实验的大纲，使用匹配网络。匹配网络将测试图像（左）与图像A或B（中上或右上）进行匹配。输出（右下）取决于该匹配网络的形状偏好。DeepMind团队对他们的深度神经网络（匹配网络和基准Inception模型）进行了实验，发现他们的网络对物体形状的偏好比对颜色或材料的偏好要强得多，就像人类一样。换句话说，他们确实有“形状偏好”。这样的结果表明，在匹配网络和Inception分类器中都使用了形状的归纳偏好来消除错误假设，并提供了对这些网络处理一次性词汇学习的方式的清晰洞察。除了形状偏差，DeepMind团队还发现了一件有趣的事情：他们发现形状偏差在网络的早期训练过程中逐渐出现。这让人联想到人类形状偏好的出现：心理学家发现，年龄较小的孩子的形状偏好比年龄较大的孩子弱，而成年人的形状偏好则更强。他们发现，选择不同的随机种子进行初始化和训练会导致网络中出现不同程度的偏好。这表明在研究深度学习系统并得出结论时，研究的样本量需要非常大，正如心理学家已经知道他们不能仅通过研究单个对象来得出结论一样。他们发现，尽管几个网络的形状偏好非常不同，但它们的单次词汇学习性能相似，这表明不同的网络可以找到许多同样有效的方法来解决复杂的问题。这种偏差存在于标准神经网络架构中，但之前没有人意识到这一点。这种偏好的发现显示了使用人类创造的认知心理学来解释神经网络问题解决方案的潜力。其他心理学领域的研究也可能有所帮助。来自情景记忆文献的想法可能有助于理解情景记忆架构。来自语义认知文献的方法可能有助于理解最近的概念形成模型。该领域拥有丰富的文献，很可能为人类带来强大的新工具，帮助解决“黑匣子”问题，让人类更好地理解神经网络的各种行为。论文地址：https://arxiv.org/abs/1706.08606viaDeepMind博客，雷锋网AI科技评论编译
