美国科学杂志 nautil． us《鹦鹉螺》作家 Aaron M．伯恩斯坦发表了一篇关于人工智能时代神经网络模型的深入报告。
从语音识别到语言翻译，从围棋机器人到自动驾驶汽车，各行各业都在人工智能的推动下取得新的突破。
虽然现代神经网络的性能令人兴奋，但它们也面临着一个棘手的问题：没有人理解它们是如何工作的，这意味着没有人可以预测它们何时会失败。
正因为如此，很多人都在犹豫是否要押注神秘而神秘的神经网络。
在神经网络中，数据从一层传递到另一层，每一步都会经历一些简单的转换。
输入层和输出层之间隐藏着多个层，以及大量的节点组和连接。
通常没有人类可以解释的模式，并且与输入或输出没有明显的联系。
“深度”网络是具有大量隐藏层的神经网络。
以下为文章全文： 作为 IBM 的一名研究科学家，Dimitri Mariotov 并不能真正说出他建造了什么。
他的部分工作是构建机器学习系统来解决 IBM 客户面临的难题。
例如，他为一家大型保险公司编写了一个程序。
这项任务极具挑战性，需要非常复杂的算法。
马里托夫在向客户解释项目成果时更加困扰。
“我们无法向他们解释这个模型，因为他们没有接受过机器学习方面的培训。
”事实上，即使这些客户是机器学习专家，也可能无济于事。
由于 Mariotov 创建的模型是一个人工神经网络，因此它需要在特定类型的数据中找到模式。
在上面提到的例子中，这些数据是保险公司的客户记录。
这种类型的网络已经实际应用了半个世纪，但近年来变得越来越流行。
从语音识别到语言翻译，从围棋机器人到自动驾驶汽车，各行各业都在这项技术的推动下取得新的突破。
虽然现代神经网络的性能令人兴奋，但它们也面临着一个棘手的问题：没有人理解它们是如何工作的，这意味着没有人可以预测它们何时会失败。
以机器学习专家 Rich Caruana 及其同事几年前报道的一起事件为例：匹兹堡大学医学中心的一个研究团队使用机器学习技术来预测肺炎患者是否会出现严重并发症。
他们希望将并发症风险较低的患者转移到门诊治疗，以腾出更多床位和工作人员。
该团队尝试了几种不同的方法，包括各种神经网络和软件生成的决策树，这些决策树总结了人类清晰易懂的规则。
在现代机器学习算法中，可解释性和准确性很难两全其美。
深度学习具有最高的准确性和最低的可解释性。
神经网络的准确率高于其他方法。
但当研究人员和医生分析决策树提出的规则时，他们发现了一些令人不安的结果：根据其中一项规则，医生应该让已经患有哮喘的肺炎患者出院，而医生知道哮喘患者极有可能出现并发症。
该模型完全按照要求执行：查找数据中的模式。
它给出如此糟糕的建议的原因实际上是数据的巧合造成的。
根据医院政策，患有哮喘的肺炎患者需要接受重症监护。
这项政策效果非常好，哮喘患者几乎不会出现严重的并发症。
由于额外的护理改变了医院的患者记录，因此算法预测了完全不同的结果。
这项研究充分体现了算法“可解释性”的价值。
卡鲁阿纳解释说：“如果基于规则的系统了解到哮喘可以降低并发症的风险，那么神经网络也会了解到这一点。
”但人类无法解读神经网络。
因此，很难预测结果。
马里托夫指出，如果没有一个可解释的模型，“这个系统实际上可能会杀人”。
正因为如此，很多人对于是否要押注于神秘莫测的神经网络犹豫不决。
Maritov为客户提供了两套模型：一套是神经网络模型，准确但难以理解；一套是神经网络模型。
另一种是基于规则的模型，可以用白话向客户解释工作原理。
尽管保险公司要求极高的准确性并且每个百分点都很重要，但客户还是选择了精度较低的第二种模型。
“他们发现第二种模型更容易理解，”马里托夫说。
“他们重视直觉。
”随着神秘而难以捉摸的神经网络的影响力与日俱增，甚至政府也开始关注它们。
欧盟两年前提出，应赋予公民“要求解释”的权利，算法决策必须公开透明。
但该立法可能难以实施，因为立法者尚未明确“透明”的含义。
目前还不清楚这一遗漏是否是由于立法者忽视了这个问题或认为它过于复杂。
事实上，有些人认为这个术语根本无法定义。
虽然我们目前知道神经网络是做什么的（毕竟它们只是计算机程序），但我们几乎不知道它是如何做的以及为什么做。
神经网络由数百万个称为神经元的单独单元组成。
每个神经元将大量数字输入转换为单个数字输出，然后传递给另一个或多个神经元。
就像人脑一样，这些神经元也分为“层”。
一组单元接收来自下一层单元的输入，并将输出传递到上一层。
神经网络可以通过输入大量数据进行训练，不断调整层之间的连接，直到网络计算出的输出尽可能接近已知结果（通常分为几个类别）。
近年来该领域的快速增长也可以归功于几项可以快速训练深度网络的新技术。
在深度网络中，初始输入和最终输出之间有很多层。
有一个著名的深度网络叫AlexNet，它可以对照片进行分类，根据它们的细微差别将它们分为不同的类别。
该网络包含超过 10,000 个“权重”，根据权重，神经元对每个输入给予不同程度的关注。
“要理解这个神经网络，你需要对这 10,000 个权重有一定的了解，”康奈尔大学和 AI 初创公司 Geometric Intelligence 的计算机科学家杰森·尤辛斯基 (Jason Yusinski) 说。
而且即使能够实现这种可解释性也不一定是好事。
对可解释性的要求相当于限制了系统的能力，使得模型无法只关注输入和输出数据并提供“纯粹”的解决方案，从而潜在地降低了准确性。
美国国防高级研究计划局项目主任戴维·冈宁在一次会议上总结了这一点。
在他展示的图表中，深度神经网络是现代机器学习方法中最难理解的，而基于规则且重视可解释性而不是效率的决策树是最容易理解的。
现代机器学习技术为开发者提供了不同的选择：是想准确地知道结果，还是想以牺牲准确性为代价来了解结果的原因？ “理解原因”有助于我们制定策略、适应并预测模型何时可能失败。
而“知道结果”可以帮助我们立即采取适当的行动。
这实在是一个两难的选择。
然而，一些研究人员提出，如果能够保留深层网络的多层结构并且能够理解其运行原理不是更好吗？令人惊讶的是，一些最有前途的研究机构实际上将神经网络视为实验对象，即遵循生物科学的思想，而不是将其视为纯粹的数学研究对象。
尤辛斯基还表示，他正在尝试“以我们理解动物甚至人类的方式来理解深层网络”。
他和其他计算机科学家借用生物研究技术来研究神经网络，就像神经科学家研究人脑一样：对每个部分进行详细分析，注意每个部分在内部如何响应微小的输入变化，甚至删除某些部分以查看其余部分如何补偿。
在从头开始构建新型智能之后，科学家们现在正在将其拆开，并使用数字“显微镜”和“手术刀”来分析这些“虚拟器官”。
尤辛斯基坐在电脑前，对着网络摄像头讲话。
相机接收到的数据被输入深度神经网络，并由 Yusinski 及其同事开发的深度可视化软件工具包进行分析。
尤辛斯基在几个屏幕之间来回滑动，然后放大网络中的一个神经元。
“这个神经元似乎能够对面部图像做出反应。
”人脑中也存在这样的神经元，它们大部分集中在一个被称为“梭形面部区域”的大脑区域。
关于这个大脑区域的一系列研究结果始于2001年，被认为是人类神经科学中最可靠的观察结果之一。
大脑区域的研究需要正电子发射计算机断层扫描等先进技术，但尤辛斯基只需代码就可以对人工神经元进行详细分析。
使用这种方法，尤辛斯基可以将特定的人工神经元映射到人类可以理解的概念或物体，例如面部，将神经网络变成强大的工具。
该研究还确定了图像中最能触发面部神经元反应的特征。
“眼睛越黑、嘴唇越红，神经元的反应越强。
”杜克大学计算机科学和电气与计算机工程系教授辛西娅·鲁丁 (Cynthia Rudin) 认为，这些“事后解释”本身就有问题。
她的研究重点是基于规则的机器学习系统，可应用于刑事量刑、医疗诊断等领域。
在这些领域，人类可以解释，而人类的解释至关重要。
但在视觉成像等领域，“个人解释纯粹是主观的”。
当然，我们可以通过识别面部神经元来简化神经网络的响应，但我们如何确定这就是网络正在寻找的东西？无独有偶，有一个著名的理论认为，没有比人类视觉系统更简单的视觉系统模型。
“对于一个复杂系统正在做什么，可以有很多解释，”鲁丁指出。
“这只是选择你‘希望’正确的那个问题吗？”乌辛斯基的工具包可以进行逆向工程。
这样，神经网络本身就“想要”正确的结果，从而部分解决了上述问题。
该项目从一张无意义的“雪花”图像开始，然后逐像素调整，通过神经网络训练的逆过程逐步修改图像，最终找到使某个神经元响应最大化的图像。
将这种方法应用于 AlexNet 神经元后，系统生成了一些奇怪的照片。
虽然它们看起来很奇怪，但它们似乎确实属于它们被标记的类别。
这似乎支持了尤辛斯基的断言，即这些面部神经元确实在寻找面部图像。
但存在一个问题：在生成这些图像时，该过程依赖于称为“自然图像优先”的统计约束，因此它生成的图像模仿真实物体照片的结构。
当他删除这些规则时，工具包仍然选择标记为“最可靠”的图像，但这些图像看起来就像电视失去信号时出现的“雪花”。
事实上，尤辛斯基指出，AlexNet 倾向于选择的大多数图像在人眼看来就像一堆乱七八糟的“雪花”。
“很容易弄清楚如何让神经网络产生极端结果，”他承认。
图中显示了深度神经网络中的单个神经元（用绿色框标记）对尤辛斯基脸部图像做出响应，就像人脑的某个区域（用黄色标记）也对一张脸部图像做出响应一样。
脸。
为了避免这些问题，弗吉尼亚理工大学电气和计算机工程助理教授德鲁夫·巴特拉（Dhruv Batra）使用了更先进的实验方法来解释深度网络。
他并没有试图寻找网络内部结构的规律。
由研究生 Abhishek Das 和 Harsh Agrawal 领导的 Batra 团队使用眼球追踪技术来分析神经网络的行为，向深度网络询问特定图像（例如房间）的情况。
窗户上是否有窗帘等。
与AlexNet或类似系统不同，Das的网络一次只关注图像的一小部分，然后在图像周围“扫描”，直到网络认为它有足够的信息来回答。
迄今为止。
经过足够的训练后，深度神经网络的表现非常出色，其准确度可与最优秀的人类一样。
接下来，达斯、巴特拉和他们的同事想要了解网络如何做出决策。
。
于是他们分析了网络在图片上选择的观察点，结果让他们大吃一惊：在回答“图片里有窗帘吗？”这个问题时，网络根本没有寻找窗户，而是先搜索了图片底部。
请注意，如果你找到一张床，你就停止寻找。
看来，在用于训练该网络的数据集中，带有窗帘的窗户可能经常出现在卧室中。
这种方法揭示了深层网络的一些内部运作方式。
，但也强调了可解释性带来的挑战：“机器捕获的不是世界的真相，而是数据集的真相。
“这些机器是根据训练数据严格调整的，因此很难概括它们操作的一般规则。
更重要的是，如果你不了解它是如何工作的，你就无法预测它会如何发生故障。
并且巴特拉的经历 似乎当他们失败时，“他们就失去了一切”。
”图为“深度可视化”工具包生成的“理想猫脸”。
该程序从类似于电视没有信号时的“雪花”图像开始，逐一调整像素，直到 AlexNet 神经网络的面部神经元生成 Yusinski 和 Batra 等研究人员所面临的一些障碍，这些障碍也很熟悉脑科学家。
例如，神经影像学的解释经常受到认知神经科学家玛莎的质疑。
法拉赫在一篇现场评论中写道：“令人担忧的是……[功能性大脑]图像看起来更像是研究人员的发明而不是观察结果。
”这个问题在各种智能系统中反复出现，表明这个问题将成为研究的主要障碍人脑和智力。
追求可解释性是愚蠢之举吗？在一篇题为 《模型可解释性的迷思》 的博文中，加州大学圣地亚哥分校的 Zachary Lipton 批判性地探讨了解释神经网络背后的动机以及为大数据集构建可解释的机器学习模型的价值。
。
在2016年国际机器学习会议（ICML）上，他还向Mariotov和两位同事组织的“人类可解释性”研讨会提交了一篇与该主题相关的有争议的论文。
利普顿指出，许多学者并不认同“可解释性”的概念。
所以他认为，要么人们对可解释性的理解不够好，要么它有太多可能的含义。
无论哪种情况，对可解释性的追求可能都无法满足我们对“简单易懂的神经网络输出”的渴望。
利普顿在博文中指出，当数据集太大时，研究人员可以抑制住解读的冲动，并相信“凭经验也能取得成功”。
他表示，该领域的目标之一是“创建学习能力远远超过人类的模型”。
如果过分强调可解释性，此类模型将很难充分发挥其潜力。
但这种能力既是一个特性，也是一个缺陷：如果我们不了解网络的输出是如何生成的，我们就无法知道网络需要什么输入。
2006 年，英国苏塞克斯大学的阿德里安·汤普森 (Adrian Thompson) 使用软件设计了一种电路，该电路使用的技术类似于当今用于训练深度网络的技术。
该电路执行的任务很简单：区分两种音频。
经过数千次调整和重新安排，该软件终于找到了一个几乎完美地完成其工作的配置。
但汤普森惊讶地发现，该电路使用的元件比任何人类工程师设计的都要少，而且有几个元件甚至根本没有与其他元件连接。
为了使电路顺利运行，这些元件是必不可少的。
于是他解剖了电路。
经过多次实验，他发现电路中相邻元件之间存在微弱的电磁干扰。
未连接到电路的组件通过干扰附近的电场来影响整个电路。
人类工程师通常会避免此类干扰，因为其后果是不可预测的。
果然，如果用另一套元件复制电路布局，甚至简单改变环境温度，同样的电路就会彻底失效。
这个电路揭示了机器训练的一个重要特征：它们总是尽可能紧凑和简洁，与它们所处的环境完美兼容，但往往难以适应其他环境。
他们可以捕获工程师找不到的模式，但不知道这些模式是否存在于其他地方。
机器学习研究人员希望尽量避免这种称为“过度拟合”的现象。
然而，随着这些算法应用的情况变得更加复杂和多样，这个缺陷将不可避免地暴露出来。
普林斯顿大学计算机科学教授桑吉夫·阿罗拉（Sanjiv Arora）认为，这个问题是人类追求可解释模型的主要动机，希望通过可解释模型来干预和调整网络。
Arora 认为，有两个主要问题说明了缺乏可解释性对机器性能造成的硬性限制。
首先是“可组合性”：当一个任务同时涉及多个决策时（例如围棋或自动驾驶汽车），神经网络无法有效地确定哪个决策导致任务失败。
“当人类设计东西时，他们会首先弄清楚不同组件的作用，然后将它们组合在一起，这样他们就可以调整不适合当前环境的组件。
”二是阿罗拉所说的“领域适应性”，将一种情况下学到的知识灵活运用到其他情况下的能力。
人类非常擅长这项任务，但机器却会犯各种奇怪的错误。
根据阿罗拉的说法，即使环境稍微调整并且人类调整不费吹灰之力，计算机程序也会严重失败。
例如，可以训练网络来分析维基百科等正式文本的语法，但它无法解析 Twitter 等口语表达。
从这个角度来看，可解释性似乎是不可或缺的。
但我们真的明白这意味着什么吗？著名计算机科学家马文·明斯基用“手提箱词汇”来描述这一类词汇，包括“意识”、“情感”等用来描述人类智能的词汇。
明斯基指出，这些文字实际上反映了多种内在机制，但它们都被锁在一个“手提箱”里。
一旦我们使用这些词语而不是更基本的概念并只研究这些词语，我们的思维就会受到语言的限制。
那么在研究智力时，“可解释性”是否也会是这样的“手提箱词汇”呢？尽管许多研究人员乐观地认为，理论家迟早能够打开这个“手提箱”，发现一些支配机器学习（也许还有人类学习）的统一定律或原理，就像牛顿的力学原理一样。
但其他人警告说，这种可能性很小。
纽约城市大学哲学教授马西莫·皮戈里奇指出，神经科学乃至人工智能领域的所谓“理解”可能是一个“集群概念”，即它可能有多个不同的概念。
定义。
如果这个领域真的有“理解”，或许会比物理学更接近进化生物学的情况。
换句话说，我们将发现的可能不是“基本力学原理”，而是“物种起源理论”。
当然，这并不意味着深度网络将预示着某种新型自主生命的出现。
但深层网络就像生命本身一样令人困惑。
该领域所采用的渐进实验方法和事后解释方法也许不是在黑暗中等待理论之光的绝望，而是我们唯一可以指望的光明。
可解释性可以采取片段的形式，就像“物种”的不同类别，其分类规则取决于具体的上下文。
在国际机器学习大会的研讨会结束时，一群演讲者参加了一场试图定义“可解释性”的讨论会。
结果，大家都有了自己的看法。
经过一系列讨论，大家似乎达成了共识：一个模型要想可解释，就必须“简单”。
但在简单性的定义问题上，大家意见不一。
依赖最少特征的“最简单”模型到底是什么？或者程序规模最小的模型？或者还有其他解释吗？到研讨会结束时，大家仍未达成共识。
正如马里奥托夫所说：“简单并不简单。
”每天都会发布一篇人工智能文章，还有技术文章。
喜欢的朋友可以关注一下。