本文经AI新媒体量子比特（公众号ID：QbitAI）授权转载，转载请联系出处。明明是斑马，为什么AI说是狗？分类模型在对图像进行分类时有时会误判类别。AI学习后，会把一些预测搞乱，其中一定有一个环节出现破绽。在一篇论文中，斯坦福大学的两位博士生和教授JamesZou带我们探讨了分类模型出错的原因。随后，论文提出了一种方法——概念反事实解释（ConceptualCounterfactualExplanations），并评估了其效果。通过这种方式，我们可以重新定义模型的分类来解释人工智能为什么会出错。一起来看看吧。为什么人工智能会犯错误？要想提高分类模型后续预测的准确率，首先要了解模型哪里出了问题。一般来说，AI搞砸预测有以下几个原因：首先，在模型实际预测过程中，分类标准可能会偏离预训练时间，使得训练模型在实际预测过程中失效，从而降低了预测结果的准确性。假设病理学家使用预先训练的模型对组织病理学图像进行分类，但它在他的图像上效果不佳。这可能是因为在他的图像中，色调与原始训练数据不同。其次，在模型学习的过程中，可能会学习到一种叫做“伪相关”的东西，就是将一些看似无关的元素与识别出的图像关联起来。可以看到这个例子：在这个模型的训练过程中，样本中所有狗的照片里面都有雪，导致模型将雪和狗联系在一起，错误地预测没有雪的狗不是狗。这可能是因为使用的数据集都是在同一个场景下采集的，会阻碍模型的泛化。另外，也可能是训练模型时人为造成的一些偏差。例如，一位皮肤科医生使用经过训练的AI对图像中的皮肤病进行分类，但其他同事却不太成功。这可能是因为在训练样本中，肤色单一，年龄分布窄。了解了AI“出错”的原因后，如何才能准确判断模型出错的地方呢？AI会犯错误，它解释了JamesZou在他的论文《反事实概念解释》(CCE)中提出的内容。具体来说，就是通过这种方法来探究输入数据与预测结果之间的关系，最终找到模型的误差。那么CCE是怎么解释的呢？定义概念库首先要做的是建立和提炼概念库C，即建立分类标准。具体来说，概念库C中的每一个概念都可以用来对图像进行分类，比如设备c1（街道、雪地等）、图片质量c2（清晰、模糊等）……这样，一组可能的解释概念基础C={c1,c2,...}。然后，您需要为每个概念找到相应的训练数据。具体来说，就是收集匹配（Pci）和不匹配（Nci）的例子，一般来说，数量应该是一样的（Pci=Nci=100）。对于每个概念，CCE都会学习它们的分类法和“思维方式”。方法有两种：一种是通过学习一个支持向量机（SVM），找到一种算法（线性分类器）可以区分两个事物的最优方式。另一个是学习相应的概念激活向量（CAV），可以用来解释图像被错误分类的具体原因。就像下图一样，都是斑马的图片，只是误分类的原因不同。对于您要评估的每个模型，此步骤只需执行一次，之后可以使用CAV来解释任意数量的错误分类。给定错误的分类标准，我们可以通过改变模型中不同概念的比例来相应地调整分类标准。这些调整必须满足以下原则：1.正确性：如果一个分类标准达到了预期的结果，那么它就被认为是正确的。2.有效性：分类标准不能违背人类的基本认知。3.稀疏性：最终目的是将模型的误差传达给用户，过多的变量不利于有效传达信息。我们的目标是使预测结果尽可能接近训练结果，即最小化交叉熵损失。因此，需要不断优化模型预测的标准，通过调整待修正的标准并赋予其权重，最终达到纠正误分类的效果。了解之后，我们再通过一个实际的例子来看看如何使用CCE来“检测”分类模型的错误。在这里，分类模型错误地将斑马图像识别为非洲猎犬。因此，我们首先为模型生成了一组标准，以将斑马识别为狗。然后，对这些标准进行评分，如果评分为正，则意味着将这个概念添加到图像中会增加正确分类的概率，反之亦然。在这个例子中，如果加入条纹（stripes）的概念，那么将其识别为斑马的概率会更大。在图c)中，通过CCE分析也可以直观地看出，“PolkaDots”（斑点）和“Dog”（狗）是模型预测错误的原因。CCE的作用是什么？看到这里，想必大家对CCE的原理有了初步的了解。然后判断准确不准确，效果如何？CCE的目的主要是揭示模型在训练过程中学习到的“伪相关”，并用它来捕捉图像中出现的其他“无关元素”和图像的伪相关。测试发现，在大多数情况下，该模型在90%以上的错误分类测试样本中识别出虚假相关性。查看此表，与其他方法相比，使用CCE识别样本中虚假相关的概率最高。CCE可以准确识别样本中的伪相关。可以看这个例子：改变苹果图片的颜色（使图片变灰），当分类模型识别错误的概率增加时（黑线），CCE可以将“绿色”识别为伪相关得分越高（绿线）。此外，CCE还具有在医学领域发挥作用的潜力。AbubakarAbid等人已在皮肤病学（皮肤状况分类）和心脏病学（气胸分类）胸片中对CCE进行了测试。CCE使用学习偏差和图像质量条件来解释模型错误，这也得到了专业皮肤科医生的证实——这些因素确实是造成皮肤图像分类困难的主要原因。此外，CCE也很快。概念库使用简单的SVM只需要学习一次，每个测试样例在单CPU上耗时不到0.3s。重要的是，它可以轻松应用于任何深度网络，无需训练数据即可检测模型出错的原因。如果您对这种方法感兴趣并想自己尝试一下，可以查看下面的链接。作者简介JamesZou，论文通讯作者，斯坦福大学生物医学数据科学系助理教授，计算机科学与电气工程系助理教授。他获得了博士学位。2014年获得哈佛大学博士学位，曾任微软研究院成员、剑桥大学盖茨学者、加州大学伯克利分校西蒙斯研究员。他的研究得到了斯隆奖学金、NSF职业奖以及谷歌、亚马逊和腾讯的人工智能奖的支持。AbubakarAbid（前）和MertYuksekgonul（后）是论文的第一作者，他们都是斯坦福大学的博士生。
