神经网络就像一个“炼金炉”，喂入大量的数据或许可以获得神奇的效果。“炼金术”成功后，神经网络也可以预测从未见过的数据~然而，在这种情况下，神经网络实际上变成了一个“黑匣子”——它具有一定的功能，但却是看不见的作品。如果只做简单的图像分类，其实还可以；但如果用在医学方向预测疾病，那么神经网络下的“判断”就不可信任了。如果你能理解它是如何工作的就更好了。考虑到这一点，牛津大学的博士生Oana-MariaCamburu撰写了她的论文《解释神经网络 （Explaining Deep Neural Networks）》。在这篇论文中，她一一打开了这些“黑匣子”，详细解释了神经网络的原理。为什么要打开神经网络“黑匣子”？事实上，神经网络之所以起作用，最直观的原因是它由大量的非线性函数组成。这些非线性函数允许网络学习原始数据中的各种抽象级特征。然而，正是由于神经网络中的这些非线性函数，人类往往很难理解它们是如何工作的。这使得神经网络在疾病预测、信用额度、刑法等方向“不太受欢迎”。医生和法律相关的研究人员往往更愿意使用可解释的模型，例如线性回归和决策树，因为神经网络在疾病预测方面确实存在问题：人们使用神经网络来预测肺炎患者的发展，其中之一有哮喘病史的患者特征。神经网络经过训练可以预测有哮喘病史的患者死于肺炎的可能性较小。但事实上，结果恰恰相反。哮喘本身会使肺炎恶化。之所以有数据显示，哮喘患者死于肺炎的几率较低，往往是因为可以及早发现哮喘，从而可以及早治疗肺炎患者。如果在实际中使用这种神经网络，将会带来非常危险的结果。此外，即使是神经网络也会产生关于男性和女性的刻板印象和种族偏见。例如，调查表明，一些语料库和模型在预测累犯时更“偏向”男性。除了错误预测以及种族和性别偏见之外，神经网络还很脆弱。无论是对图像做小改动来欺骗分类算法，还是利用语音识别来隐藏NLP模型，神经网络被“炸毁”的案例都有很多。为了让神经网络有更多的应用方向，也为了让我们更好的学习它的原理，作者从两个方向对神经网络进行了讲解。2解释神经网络“事后解释”的方法第一种方法称为基于特征的解释方法，也称为“事后解释”——因为这种方法是在神经网络训练完成之后才进行的。解释输入特征。这种方法解释文本中的词（tokens），或图像中的超像素（superpixels），“事后”解释。目前该方法应用广泛，不易产生解释偏差，但需要验证解释方法的真实性。这里的根本原则是研究外部解释方法给出的解释与模型本身产生的自然语言解释之间是否存在相关性，具体相关性是什么。在论文中，作者引入了一种新的验证方法来判断解释方法的真实性。让神经网络自我解释那么，如果神经网络可以在训练的同时“自我解释”呢？这是论文中提到的第二种方法，就是在模型中植入一个生成预测解释的模块，对预测结果进行解释。至于神经网络对自身的解释是否正确，还需要人为判断。在这里，作者还介绍了一种判断方法，对模型自身产生的解释进行判断，从而得到神经网络解释的结果。对神经网络的详细结构和具体解释方法感兴趣的小伙伴可以查看下方论文地址~
