近年来，CNN以其优异的性能受到了计算机视觉、自然语言处理等各个领域研究人员的青睐。然而，CNN是一个“黑匣子”模型，即模型的学习内容和决策过程很难以人类可以理解的方式提取和表达，这限制了它的预测可信度和实际应用。因此，CNN的可解释性受到越来越多的关注。研究人员尝试通过特征可视化、网络诊断和网络架构调整来辅助解释CNN的学习机制，从而使这个“黑匣子”变得透明。让人类更容易理解、检测和改进他们的决策过程。近期，来自北京大学、东方理工、南方科技大学和鹏城实验室的研究团队提出了语义可解释人工智能（S-XAI）的研究框架，从语义层面解释了CNN。学习机制，并以猫和狗的二元分类为例，形象地揭示了模型是如何学习类别意义上的猫的概念，即“什么是猫”。本研究重点关注CNN从同类样本中学习到的共同特征，提取人类可理解的语义概念，为CNN提供语义解释。基于此，该研究首次提出了“语义概率”的概念来表示语义元素在样本中出现的概率。实验表明，S-XAI能够在二分类和多分类任务中成功提取共同特征和抽象超现实但可识别的语义概念，在可信度评估和语义样本搜索中具有广阔的应用前景。这项名为《Semantic interpretation for convolutional neural networks: What makes a cat a cat?》的研究发表于2022年10月10日的《Advanced Science》。论文链接：https://onlinelibrary.wiley.com/doi/10.1002/advs.202204723代码链接：https://github.com/woshixuhao/semantic-explainable-AI模型效果不同于以往的单样本可视化研究，S-XAI可以提取并可视化群体样本的共同特征，从而获得全局可解释性。基于进一步抽象的语义空间和计算出的语义概率，S-XAI可以自动为CNN的决策逻辑生成人类可理解的语义解释，从语义层面评估决策的可信度。如图1所示，在猫狗二元分类问题中，对于同一只猫的三个角度的图片，S-XAI自动生成对应的语义概率雷达图和解释语句。虽然神经网络将这些图片识别为猫的概率超过90%，但S-XAI从语义概率上提供了更多的解释信息，反映了这些图片之间的差异。比如正面图，S-XAI的解释是“我确定是猫，主要是因为它有生动的眼睛和鼻子，很明显是猫的眼睛和鼻子。还有，它有栩栩如生的腿，有点像猫腿。”这种解释显示出高度的合理性。对于侧角的图像，S-XAI的解释是“应该是猫，主要是因为它有眼睛，可能是猫眼，但腿有点乱。”对于猫背的图像，语义概率都不是很明显，S-XAI解释是“可能是猫，但我不确定”。同时，对于一张狗的照片，S-XAI的解释是：“我确定这是一只猫。狗，主要是因为它有生动的眼睛和鼻子，这显然是狗的眼睛和鼻子。虽然它的腿有点混乱。”事实上，如果把这只狗的上半身遮住，只看腿，连人都很难分辨它是猫还是狗。可以看出，S-XAI提供的语义解释更加准确，更符合人类的认知，可以让人类更好地从语义层面理解神经网络的类别识别逻辑。图1S-XAI自动生成的语义概率雷达图和解释语句同时，S-XAI在语义样本搜索方面也有广阔的应用前景。如图2所示，当人们需要从大量图片中筛选出具有某种语义特征的图片时，S-XAI提供了一种快速准确的语义概率筛选方式。考虑到计算语义概率只涉及神经网络的前向操作（即预测），这个过程很快。图2.语义样本搜索示例在研究中，研究人员还证明了S-XAI在多分类任务上具有良好的可扩展性。如图3所示，以Mini-ImageNet数据集（包含100个动物类别）为例，S-XAI仍然可以从不同类别的数据（如鸟、蛇、蟹、鱼等）中提取出清晰可辨的图像。.共同特征和语义空间，并生成相应的语义解释。图3.S-XAI在多分类任务上的表现。原理与方法目前常见的提高模型可解释性的思路主要分为两大类：可视化和模型干预。可视化方法将CNN内部的特征图、过滤器或热图可视化，以了解网络在面对给定样本时关注的特征。这种方法的局限性在于，它只能从单个样本中提取个体特征来获得局部可解释性，无法帮助人们在面对同一类型数据时理解模型的整体决策逻辑。模型干预方法将一些现有的强可解释模型（如树模型等）集成到神经网络架构中，以提高模型的可解释性。此类方法虽然具有全局可解释性的优势，但往往需要重新训练模型，解释成本高，不利于推广应用。受人类认知模型的启发，在S-XAI中，研究人员采用了一种新的解释策略，从语义层面解释CNN的类别学习机制（图4）。在自然界中，同类物体往往具有某些相似的共同特征，这些特征构成了类别认知的重要基础。例如，虽然猫的形状各不相同，但它们都有一些共同的特征（如胡须、鼻子和眼睛相关的特征），这让人类可以快速判断它们是猫。在实验中，研究人员发现CNN的类别学习机制与人类相似。图4语义可解释人工智能的研究框架中使用了一种称为行中心样本压缩的技术，从CNN的同类样本中提取共同特征。与传统的主成分分析不同，以行为中心的样本压缩将CNN中大量样本得到的特征图在样本空间中降维，从而提取少量的主成分作为CNN学习到的共同特征。为了使提取的共同特征更加清晰，样本通过超像素分割和遗传算法寻找最优的超像素组合，减少干扰。提取的共同特征以可视化方式显示（图5）。图5共同特征的提取路径以VGG-19网络架构上的猫狗二元分类问题为例，针对猫狗类数据提取的不同主成分如图6所示。可以是从图中可以清楚地看到，不同的主成分表现出可识别的、不同层次的特征。很明显，第一主成分展示了完整的面部特征，第二主成分展示了零散的语义概念，比如胡子、眼睛、鼻子等，第三主成分主要展示了皮毛的特征。值得一提的是，这些主成分表现出的特征是超自然的，即它们不属于任何样本，而是反映了同一类别所有样本的共同特征。图6.从猫狗类别数据中提取的不同主成分的可视化结果。基于提取出的共同特征，研究人员通过掩蔽样本中的语义信息来比较主成分的变化。将混合在一起的语义概念进一步分离，从而提取每个语义概念对应的语义向量，对语义空间进行抽象。在这里，研究人员使用眼睛和鼻子等人类理解的语义概念，并将抽象的语义空间可视化。在成功提取语义空间后，研究人员定义了“语义概率”的概念来表示语义元素在样本中出现的概率，从而为CNN语义层面的解释提供了一种量化分析的手段。如图7所示，语义空间中出现了清晰可辨的语义概念（明亮的眼睛、小鼻子），这表明语义空间已成功从CNN中提取出来，展示了CNN从类别数据中学习的能力。语义信息。同时，研究人员发现CNN对语义的认知与人类存在一定差异。它学习到的“语义”不一定是人类共识的“语义”，神经网络的语义甚至可能更高效。例如，研究人员发现，对于猫而言，CNN通常会从语义上捕捉猫的鼻子和胡须作为一个整体，这可能会更有效。同时，CNN学习到了语义之间的一些联系。例如，猫的眼睛和鼻子经常同时出现。这方面值得进一步研究。图7.从CNN中提取的语义向量和可视化的语义空间（上图：猫眼空间；下图：猫鼻空间）总结与展望综上所述，研究中提出的语义可解释人工智能（S-XAI）通过提取共同特征和语义空间，从语义层面对CNN的类别识别机制进行了解释。该研究框架可以在不改变CNN架构的情况下获得一定的全局解释能力。由于不涉及网络再训练，S-XAI具有响应速度更快的优势，在可信度评估和语义样本搜索等方面有相当大的应用。潜在的。本质上，S-XAI类似于知识发现。知识发现旨在从神经网络中找出反映共同物理规律的功能项，而S-XAI则是从CNN中找出反映样本共同特征的语义空间。两者的核心思想都是找到共同点并加以表达。人类可以理解的。
