MIT的新技术有助于解释在视觉数据上训练的神经网络的内部机制。神经网络通过分析大型训练数据集学习如何执行计算任务，是当今高性能人工智能系统的主要贡献者，例如语音识别系统、自动翻译器和自动驾驶汽车。但是神经网络是黑盒子。一旦接受培训，即使是设计师自己也不了解他们是如何工作的：他们处理什么数据以及他们如何处理这些数据。两年前，麻省理工学院CSAIL实验室的一组计算机视觉研究人员描述了一种窥探黑匣子的方法，在黑匣子中训练神经网络识别视觉场景。该方法提供了一些有趣的见解，但需要通过亚马逊的MechanicalTurk众包服务将数据发送给人工审阅者。在今年的CVPR大会上，CSAIL研究人员对上述系统进行了升级，将呈现全自动化版本。上一篇论文给出了一个神经网络的分析（在一个任务上），新的论文将给出四个神经网络的分析（20多个任务），包括识别场景和物体、灰度图像着色、解谜等任务.一些较新的网络太大，因此使用旧方法分析网络成本太高。研究人员还在网上进行了几组实验，不仅揭示了各种计算机视觉和计算摄影算法的特性，还为人类大脑的组织方式提供了一些证据。神经网络这个名字来源于对人类神经系统的模拟，它有大量相当简单但紧密相连的信息处理节点。与神经元一样，神经网络的节点接收来自相邻节点的信息信号，然后激活并释放自己的信号，或者不响应。与神经元一样，节点具有能够改变其激活响应的优势。在两篇论文中，麻省理工学院的研究人员修改了神经网络并对其进行计算机视觉任务训练，以揭示每个节点如何响应不同的输入图像。然后他们选择最能激发每个节点的10个输入图像。在之前的论文中，研究人员将这些图像发送给MechanicalTurk雇佣的工人，以确定这些图像的共同点。在这篇新论文中，研究人员使用计算机系统来做到这一点。“我们对1,100多个视觉概念进行了分类，例如绿色、泥土纹理、木材、人脸、自行车车轮、雪山等等，”麻省理工学院研究生大卫鲍说。我们采用其他人开发的多个数据集，将它们与标有密集视觉概念的数据集融合，我们得到很多很多标签，并且我们知道哪个像素对应于该标签。该论文的其他作者包括合著者周博雷；麻省理工学院电气工程与计算机科学系教授AntonioTorralba；CSAIL高级研究科学家AudeOliva；首席技术官。研究人员还知道哪个图像的哪个像素对应于给定网络节点的***响应。今天的神经网络被组织成层，数据被馈送到第一层，经过处理并传递到下一层，等等。使用可视化数据，输入图像被分解成小块，每个小块被馈送到一个单独的输入节点。在他们的一个网络中，对于来自给定层中节点的每个响应，研究人员追踪引发的模式以识别相应的特定图像像素。因为他们的系统可以频繁地识别对应于精确像素组的标签，所以它可以非常详细地描述节点行为。在数据集中，研究人员分层组织了这些视觉概念。每个级别都从第一级概念开始，如颜色、纹理，然后是材料、组件、对象、场景。通常，神经网络的较低层对应于简单的视觉特征，例如颜色和纹理，而较高层则引发对更复杂特征的反应。但分层还允许研究人员在训练神经网络执行特定任务时量化关注的重点。例如，训练神经网络为黑白图像着色时，重点关注大量识别纹理的节点。再比如，训练网络跟踪视频画面中的物体比训练场景识别网络更关注画面识别的节点。在这种情况下，很多节点实际上都专注于物体识别。研究人员的实验还可以阐明神经科学中的难题。在人类受试者的大脑中植入电极以控制神经障碍的研究表明，大脑中的单个神经元会响应特定的视觉刺激而放电。这个假说最初被称为祖母-神经元假说（grandmother-neuronhypothesis），比较熟悉的名字是神经科学家最近提出的詹妮弗-安妮斯顿神经元假说。在发现多名神经系统患者的神经元倾向于只对特定好莱坞明星的描述做出反应后，他们提出了这一假设。许多神经科学家对这种解释提出异议。他们认为是神经元簇，而不是单个神经元，控制着大脑中的知觉识别。所以詹妮弗·安妮斯顿的神经元只是一堆神经元一起放电以响应詹妮弗·安妮斯顿的图像。也有可能许多神经元簇共同对刺激做出反应，只是没有经过测试。由于麻省理工学院研究人员的分析技术是完全自动化的，因此他们能够测试在训练神经网络识别视觉场景时是否发生了类似的事情。除了识别调整到特定视觉概念的单个网络节点外，他们还随机选择联合节点。然而，节点组合选择的视觉概念比单个节点少得多，约为80%。“对我来说，这表明神经网络实际上是在试图模拟祖母神经元，”Bau说。“他们并没有试图到处乱扔祖母神经元的想法，而是试图将其分配给一个神经元。这是一个有趣的暗示，大多数人不相信这种架构如此简单”论文：网络解剖：量化深度视觉表示的可解释性论文链接：http://netdissect.csail.mit.edu/final-network-dissection。pdf我们提出了一个称为NetworkDissection的通用框架，它通过评估各个隐藏单元与一组语义概念之间的对应关系来量化CNN隐藏表示的可解释性。给定一个CNN模型，我们提出的方法利用视觉概念的大型数据集来对每个中间卷积层的隐藏单元的语义进行评分。这些语义单元被赋予大量标签，从对象、组件和场景到纹理、材料和颜色。我们使用提出的方法检验了这个假设：一个单元的可解释性等同于它的随机线性组合；然后我们应用我们的方法来比较潜在的特征。我们进一步分析了训练迭代的影响，比较了用不同初始化训练的网络，检查了网络深度和宽度的影响，并测量了dropout和batchnormalization对深度视觉表示的可解释性的影响。我们证明，所提出的方法可以揭示CNN模型和训练方法的属性，而不是衡量它们的判别力。
