人工智能近年来的快速发展主要得益于神经网络模型，但随着模型变得越来越大和越来越复杂，研究人员逐渐无法完全理解模型究竟如何做出预测，“黑匣子”越来越黑。了解黑盒模型的运行机制对于模型部署至关重要，这关系到模型的可靠性和易用性，因此一些研究人员正在为模型开发可解释的方法。为了试图理解模型，以往的方法大多采用测试样本来描述和解释模型的决策过程。例如，在情感分析任务中，将模型认为正面或负面的关键词高亮显示给影评数据，也称为“局部解读”。但对于更复杂的任务，人类可能无法轻易理解，甚至可能会产生误解，所以这种解释的方式是没有用的。最近，麻省理工学院的研究人员提出了一个新的数学框架ExSum，可以形式化地量化和评估机器学习模型的可解释性的可理解性。论文已经被NAACL2022录用。论文链接：https://arxiv.org/pdf/2205.00130.pdf说的简单一点，就是看你的“解释模型的规则”是否适用于更多的数据.localinterpretation的缺点之一是无法判断该规则是否可以推广到其他测试样本，比如突出“wonderful”作为影评的正面词，是否意味着“no”等负面词？影响考试吗？使用ExSum，用户可以使用三个指标来查看规则是否成立：覆盖率、有效性和清晰度。覆盖率衡量规则适用于整个数据集的程度；有效性显示规则持有多少个例子；清晰度描述了规则的精确程度：有效规则可能是通用的，但对理解模型没有用。用处。文章第一作者周逸伦是麻省理工学院电气工程与计算机科学系（EECS）五年级博士生，师从JulieShah教授。目前的研究方向是帮助人类更好地理解在世界上做出重要决策的模型。主要问题包括如何确保黑盒模型正常工作？如何全面了解预期的和更重要的未预期的模型行为？人类对这种复杂推理过程的理解有哪些局限性？为了回答这些问题，他开发了模型、算法和评估来解释机器学习并将它们应用于不同领域，包括计算机视觉(CV)、自然语言处理(NLP)和机器人技术。以数学方式描述经验在训练文本分类模型时，通常会做什么来解释模型？首先向模型输入一个句子，然后模型为文本预测一个标签。如果预测正确，分析句子中每个词在预测中的重要性。比如下图的例句，情感分类任务中的标签是positive，可以用SHAP解释的方法来衡量每个词在文本中的贡献度。例如，“令人难忘”和“很棒”的分数较高。在情感分类中预测的重要性更高；而停用词“for”的得分仅为-0.02，基本忽略不计，对预测结果没有影响。此验证与模型异常出色的分类性能相结合，可能会让您得出结论，该模型正确识别了所有正面词并忽略了停用词。但是，这是事实吗？该模型是否能在其他数据上满足这一结论尚不得而知；并且人工观察的方法不够自动化。ExSum框架的方法是将这条规则“数学化”。在解释模型时，每个词的每个特征称为一个基本解释单元（fundamentalexplanationunit，FEU）。在这个例子中，使用得到的特征就是SHAP分数。然后生成一个规则，比如句子的情感分数（0.638）高于“memorable”的分数，然后以0.479的分数作为正词的基准来判断规则对的正确率其他句子（3.1%）。这种方法可以自动衡量规则的覆盖率、有效性和清晰度，可以帮助开发者更深入地理解模型的行为。入门指南随文章与ExSum框架程序一起发布。你只需要使用pipinstallexsum就可以开启“模型解读”之旅。ExSum主要用于对文本二元分类模型的ExSum规则进行校验和修改，包括Exsum规则类定义和规则集类。基于Flask服务器，还可以交互可视化规则和规则集。代码链接：https://github.com/YilunZhou/ExSum教程链接：https://yilunzhou.github.io/exsum/documentation.html运行ExSumGUI后可以看到程序主要分为5个面板.A面板显示了规则的结构，并不是所有的规则都被选中，例如A表示不使用规则2和7，但每个规则最多只能使用一次。Whenaruleisselected,acounterfactual(CF)ruleunionwithouttheruleisautomaticallycalculatedsothattheusercanintuitivelyunderstanditsmarginalcontribution,andthesecondrowshowsthestructureoftheCFruleset.B面板把所有的规则都变成了按钮，用户可以通过点击查看更详细的规则，底部是重置和保存按钮。Reset按钮丢弃对规则中参数值所做的所有更改（面板D），Save按钮将当前规则集的副本保存到指定目录。面板C以数字和图形方式显示了为完整规则集、CF规则集和选定规则计算的指标。对规则的任何更改都会自动触发这些值的重新计算和更新。面板D列出了所选规则的参数，可以通过键入或使用滑块手动更改这些参数。此外，还可以使用AutoTune工具箱自动调整参数。PanelE显示了特定数据实例上的规则和规则集，包括三个控制按钮，用于切换显示整个规则集和只显示选中的规则，切换显示整个句子或只显示句子中的一个FEU，重新随机化数据并显示新的一批实例。当预测正确时（使用0.5作为阈值），文本为绿色，否则为红色。单词加下划线表示它们被所选规则或规则集覆盖，对于被覆盖的单词，粗体表示它们根据行为函数是有效的。将鼠标悬停在每个单词上会显示一个工具提示，其中显示数字属性值和覆盖该单词的规则（如果有）。下图显示了一个示例（在这种情况下，规则19对“严重”一词无效，因为该词不是粗体）。
