本文转载自公众号《核心阅读》（ID：AI_Discovery）能否同时做到准确性和可解释性？IEEE研究员管存泰认为：“很多机器决策仍然没有被很好地理解理解”。大多数论文甚至提出严格区分准确性和可解释性。神经网络准确但不可解释；在计算机视觉中，决策树可解释但不准确。ExplainableAI(XAI)试图弥合这一鸿沟，但如下所述，“XAI在不直接解释模型的情况下证明了决策的合理性”。这意味着金融和医学等应用领域的从业者被迫陷入两难境地：选择一个不可解释的、准确的模型，还是一个不准确、可解释的模型。什么是“可解释的”？在计算机视觉中定义可解释性是一个挑战：解释像图像这样的高维输入的分类意味着什么？如下所述，两个流行的定义涉及显着图和决策树，但这两个定义都有缺点。哪些显着图无法用可解释性AI解释：许多XAI方法生成的热图称为显着图，突出显示影响预测的重要输入像素。然而，显着图映射仅关注输入而忽略了解释模型如何做出决策。使用称为Grad-CAM的方法拍摄的原始图像和使用引导反向传播方法拍摄的另一幅图像的显着图下面的显着性图是一样的，只是预测不一样。为什么？尽管两个显着图都突出显示了正确的对象，但有一个预测是不正确的。回答这个问题可以帮助改进模型，但是如下图，显着图不能解释模型的决策过程。模型预测结果是一只有耳朵的鸟。模型预测结果是有角的鸟。这些是使用Caltech-UCSDBirds-200-2011（或简称CUB2011）在ResNet18模型上应用Grad-CAM方法获得的结果。尽管显着性图看起来非常相似，但模型的预测是不同的。因此，显着性图并不能解释模型是如何得出最终预测的。决策树的另一种方法是用可解释的模型代替神经网络。在深度学习之前，决策树是准确性和可解释性的黄金标准。决策树的可解释性如下所示，其工作原理是将每个预测分解为一系列决策。上面的决策树不仅会预测“大汉堡包”或“华夫饼”，还会输出一系列导致最终预测的决策。然后可以分别验证或挑战这些中间决策。因此，经典机器学习将此类模型称为“可解释的”。然而，就准确性而言，决策树在图像分类数据集2上落后于神经网络40%。神经网络和决策树混合算法也表现不佳，甚至无法匹配数据集CIFAR10上的神经网络，该数据集具有如下所示的32x32小图像。此示例显示32x32有多小。这是来自CIFAR10数据集的示例。这种精度差距会影响可解释性：需要高精度、可解释的模型来解释高精度神经网络。通过构建可解释且准确的模型，使用神经支持的决策树可以改善这种错误的二分法。关键是将神经网络与决策树结合起来，在使用神经网络进行低级决策的同时保留高级可解释性。如下所示，我们将这些模型称为神经支持决策树(NBDT)，并表明它们可以匹配神经网络的准确性，同时保持决策树的可解释性。在此图中，每个节点都包含一个神经网络。该图仅突出显示了一个这样的节点和内部的神经网络。在神经支持的决策树中，预测是通过决策树进行的，以保持高级可解释性。然而，决策树中的每个节点都是一个做出低级决策的神经网络。上面的神经网络做出的“低级”决定是“有香肠”还是“没有香肠”。NBDT与决策树一样具有可解释性。与今天的神经网络不同，NBDT可以输出中间决策来进行预测。例如，给定一张图像，神经网络可以输出Dog。但是，NBDT可以同时输出Dog和Animal、Chordate、Carnivore（下图）。在此图中，每个节点都包含一个神经网络。该图仅突出显示了一个这样的节点和内部的神经网络。在神经支持的决策树中，预测是通过决策树进行的，以保持高级可解释性。然而，决策树中的每个节点都是一个做出低级决策的神经网络。上面的神经网络做出的“低级”决定是“有香肠”还是“没有香肠”。上面的照片是根据Pexels许可从pexels.com截取的。NBDT实现了神经网络的准确性。与任何其他基于决策树的方法不同，NBDT在所有3个图像分类数据集上匹配神经网络精度（差异小于1%）。NBDT还在ImageNet上实现了2%以内的神经网络波动精度，ImageNet是最大的图像分类数据集之一，拥有120万张224x224图像。此外，NBDT为可解释模型设定了新的最先进的准确性。NBDT实现了75.30%的ImageNet准确率，比最好的基于决策树的竞争方法高出整整14%。为了准确说明这种准确性的提高：对于无法解释的神经网络，类似的14%的提高需要3年的研究。神经支持的决策树可以解释什么以及如何解释个体预测的最有见地的理由是基于模型从未见过的对象。例如，考虑一个NBDT（下图）并在Zebra上执行推理。尽管这个模型从未见过斑马，但下面显示的中间决策是正确的——斑马既是动物又是有蹄类动物。正确预测单个预测的能力对于看不见的物体至关重要。NBDT甚至可以对看不见的物体做出准确的中间决策。在这里，该模型是在CIFAR10上训练的，之前从未见过斑马。尽管如此，NBDT还是正确地将斑马识别为动物和有蹄类动物。上面的照片是根据Pexels许可从pexels.com截取的。模型行为的理由此外，发现当可以使用NBDT时，可解释性的准确性得到提高。这与介绍中的二分法背道而驰：NBDTs不仅具有准确性和可解释性，而且还使准确性和可解释性成为同一目标。ResNet10HierarchyWideResNetHierarchy在前者中，“猫”、“青蛙”和“飞机”位于同一子树下。相比之下，WideResNet层次结构将Animals和Vehicles干净地分割在每一侧。上图来自CIFAR10数据集。例如，精度较低的ResNet?层次结构将青蛙、猫和飞机组合在一起意义不大。这“不太明智”，因为很难找到所有三个类别共有的明显视觉特征。相比之下，精度更高的WideResNet层次结构更有意义，将Animal与Vehicle完全分开——因此，精度越高，NBDT越容易解释。图源：unsplash理解决策规则在使用低维表格数据时，决策树中的决策规则很容易解释，例如，如果盘子里有面包，则选择正确的节点，如下图。然而，对于像高维图像这样的输入，决策规则并不是那么简单。此示例演示如何使用低维表格数据轻松解释决策规则。右边是几个项目的表格数据示例。左侧是根据此数据训练的决策树。此时，决策规则（蓝色）是“有面包吗？”所有有面包的物品（橙色）被发送到顶部节点，而所有没有面包的物品（绿色）被发送到底部节点。该模型的决策规则不仅基于对象类型，还基于上下文、形状和颜色。为了定量地解释决策规则，使用了一个名为WordNet7的现有层次结构；通过这种层次结构，可以找到类之间最具体的共享含义。例如，给定类别猫和狗，WordNet将提供哺乳动物。如下图所示，这些WordNet假设得到了量化验证。左子树（红色箭头）的WordNet假设是Vehicle。右侧的WordNet假设（蓝色箭头）是Animal。为了定性地验证这些影响，NBDT在看不见的对象类别上进行了测试：查找训练期间未看到的图像。根据假设，确定每个图像属于哪个节点。比如大象是动物，所以*可以找到正确的子树。现在可以通过检查有多少图像传递到正确的节点来评估假设。例如，检查有多少大象图像被发送到“动物”子树。这些分类的正确性显示在右侧，看不见的动物（蓝色）和看不见的车辆（红色）都显示出很高的准确性。请注意，在具有10个类的小型数据集中（即CIFAR10），可以为所有节点找到WordNet假设。然而，在具有1000个类别的大型数据集（即ImageNet）中，对于WordNet假设只能找到节点的子集。立即尝试NBDT现在有兴趣尝试NBDT吗？无需安装任何软件，即可在线查看更多示例输出，甚至可以试用Web示例。或者，使用命令行实用程序运行推理（使用pipinstallnbdt安装）。让我们根据猫的图片进行推断。nbdthttps://images.pexels.com/photos/126407/pexels-photo-126407.jpeg?auto=compress&cs=tinysrgb&dpr=2&w=32#thiscanalsobeapathtolocalimage这将输出类别预测和所有中间决策。Prediction:cat//Decisions:animal(99.47%),chordate(99.20%),carnivore(99.42%),cat(99.86%)也可以只用几行Python代码加载预训练好的NBDT。从以下开始，支持几个神经网络和数据集。fromnbdt.modelimportHardNBDTfromnbdt.modelsimportwrn28_10_cifar10model=wrn28_10_cifar10()model=HardNBDT(pretrained=True,dataset='CIFAR10',arch='wrn28_10_cifar10',modelmodel=model)供参考，参见上面运行的命令行工具Transforminputandruninference只有大约20行。工作原理神经支持决策树的训练和推理过程可以分为四个步骤。训练NBDT分为两个阶段：首先，构建决策树的层次结构。其次，训练一个带有特殊损失项的神经网络。为了进行推理，您将样本输入神经网络主干。最后，将最后一个全连接层作为决策规则序列运行。构建决策树的层次结构。此层次结构确定NBDT必须在哪些类之间做出决策。将此层次结构称为归纳层次结构。这种层次结构产生了一个特定的损失函数，称为树监督损失5。使用这个新的损失函数训练原始神经网络，无需任何修改。通过将样本输入神经网络主干来开始推理。主干是最终全连接层之前的所有神经网络层。推理是通过将最终的全连接层视为一系列决策规则来完成的，称为嵌入式决策规则。这些决定构成了最终的预测。ExplainableAI无法完全解释神经网络如何实现预测：现有方法可以解释图像对模型预测的影响，但不能解释决策过程。决策树解决了这个问题，但其准确性存在挑战。因此，将神经网络和决策树结合在一起。与其采用相同混合设计的前辈不同，神经支持决策树(NBDT)解决了两个问题：神经网络无法提供理由；决策树无法达到高精度。这为医学和金融等应用提供了一种新型的准确且可解释的NBDT。
