在大数据时代，机器学习可以在提高产品销量和辅助人类决策方面发挥很大的作用，但计算机通常不会解释其预测结果。我们在使用机器学习模型的时候，常用的模型性能评价指标包括准确率、准确率、召回率、ROC曲线、成本曲线等。如果一个机器学习模型表现良好，我们是否可以信任该模型而忽略决策的理由？答案是不。模型的高性能意味着模型足够智能、足够“聪明”，但仅仅让我们理解它是如何工作的还不够，所以我们需要给模型“表达”，让我们理解和信任模型模型更多。除了单一的性能评估，对模型的评估还应该增加另一个维度来表示模型的“表达能力”，可解释性就是其中之一。1.可解释性的定义解释是指用通俗易懂的语言进行分析、澄清或表述。对于一个模型来说，可解释性是指模型能够用通俗易懂的语言表达出来的能力，也就是人类能够理解的能力。具体来说，就是能够将模型的预测过程转化为具有逻辑关系的规则的能力。可解释性通常是主观的，不同的人有不同的解释程度，因此很难用统一的指标来衡量。我们的目标是希望机器学习模型能够“像人一样表达，像人一样思考”。如果模型的解释符合我们的认知和思维方式，能够清楚地表达模型从输入到输出的预测过程，那么我们就会认为模型的可解释性是好的。以小基金营销场景《机器学习的挑战：黑盒模型正面临这3个问题》为例，虽然模型可以判断客户很可能购买低风险、低收益的产品，但模型无法解释为什么客户倾向于购买低风险、低收益的产品。因此，无法针对该客户提出更有针对性的营销策略，导致营销效果不佳。一个具有可解释性的模型在做预测的时候，除了可以给出推荐的商品，还必须能够给出推荐的理由。例如，模型之所以推荐低收益的产品，是因为客户刚大学毕业，还比较年轻，缺乏理财意识，理财知识比较薄弱。虽然个人账户里有很多钱，但他一味推荐购买高收益的产品。更多的损失可能是他们缺乏风险意识造成的。因此，可以通过一些简单的低风险理财产品，让客户先体验金融市场，培养客户对理财的兴趣，过一段时间再购买高收益的产品。模型的可解释性越强，模型的“表达力”越强，我们在使用模型的结果进行决策时，就能取得更好的营销效果。二。可解释性分类可解释性机器学习的思想是在选择模型时同时考虑模型的预测精度和可解释性，并尽量在两者之间找到最佳平衡点。根据不同的使用场景和用户，我们可以将模型的可解释性大致分为以下几类。1.内在可解释性VS。内在可解释性（IntrinsicInterpretability）是指模型本身结构比较简单，用户可以清楚地看到模型的内部结构，模型的结果具有解释的效果，模型设计出来就已经是可解释的。如图2-1所示，我们从决策树的输出中可以清楚的看出，两个特征取不同值时的预测值是有差异的。常见的内部可解释模型包括逻辑回归、较浅的决策树模型（最多4层）等。▲图2-1决策树结果的事后可解释性是指在决策树结果后采用一定的方法来增强模型的可解释性对模型进行训练，并挖掘模型学习到的信息。有些模型结构复杂，用户很难从模型内部知道结果的推理过程。模型的结果没有解释性语言，通常只给出预测值。此时，模型是不可解释的。事后可解释性是指在模型训练后，通过不同的事后分析方法来提高模型的可解释性。如图2-2所示，采用事后分析的方法，可以给出不同型号识别结果的不同原因：电吉他是根据琴颈识别的，木吉他是根据琴箱识别的，木吉他是根据琴箱识别的。吉他是根据头部和腿来识别的。系鉴定拉布拉多。常用的事后分析方法包括可视化、扰动测试和替代模型。▲图2-2事后解释：原始图片，b。原因解释为电吉他，c。原因解释为原声吉他，d。解释为拉布拉多的原因（来源：论文《“WhyShouldITrustYou?”—ExplainingthePredictionsofAnyClassifier》）2.本地解释VS。全局解释对于模型使用者来说，不同的场景对解释的要求是不同的。对于整个数据集，我们需要知道整体预测；对于个体，我们需要知道特定个体之间预测的差异。局部解释是指解释当一个样本或一组样本的输入值发生变化时其预测如何变化。比如在银行风控系统中，我们需要找出违规客户有哪些特征或特征，然后根据地图找到潜在的违规客户；当账户金额发生变化时，违规概率将如何变化；当客户的信用卡申请被拒绝后，我们还可以根据模型的本地解释向这些客户解释拒绝的原因。图2-2显示了事后解释和部分解释，这是对输入图像的解释。全局解释是指对整个模型从输入到输出的解释。从全局解释中，我们可以获得一般规律或统计推断，了解每个特征对模型的影响。例如，吸烟与肺癌有关，吸烟较多的人患肺癌的几率较高。全局解释可以帮助我们理解基于特征的目标分布，但通常很难获得。人类可以描述的空间不超过三个维度。一旦超过三个维度，就很难理解了。我们很难直观地描述三个以上维度的联合分布。因此，一般的全球解释停留在三个维度以下。例如，加法模型（AdditiveModel）需要观察单个特征与目标变量之间的关系，同时保持其他特征不变；树模型对应每个叶节点的路径被解释为产生叶节点结果的规则。3.可解释机器学习的研究方向可解释机器学习为模型评价指标提供了新的视角。在设计模型或优化模型时，模型设计者应同时考虑准确性和可解释性。图2-3显示了可解释机器学习中模型准确性和模型可解释性之间的关系。它由香港大学张爱君教授提出，在学术界广为流传。图2-3中的横轴表示模型的可解释性。方向越正，模型的可解释性越高；纵轴代表模型的准确率，方向越正，模型的准确率越高。▲图2-3可解释机器学习：模型准确率与模型可解释性的关系（来源：香港大学张爱军博士）关于模型评估的两个指标，可解释机器学习有两大研究方向。详情如下。首先，对于传统的统计模型（如决策树、逻辑回归、线性回归等），模型的可解释性强，我们在使用模型时可以清楚地看到模型的内部结构，结果具有高可解释性。然而，总的来说，这些模型的准确率较低。在一些信噪比高（信号强，噪声少）的领域，拟合效果不如目前的机器学习模型高。在保持模型可解释性的前提下，可以适当改进模型的结构，增加模型的灵活表示能力，提高其准确率，将模型向纵轴正方向移动，形成内在的可解释的机器学习模型。例如，保持模型的可加性，同时从线性拟合扩展到非线性拟合，GAMI-Net和EBM模型都是本质上可解释的机器学习模型。第二，目前的机器学习模型（如神经网络、深度学习）内部结构非常复杂。我们很难通过逐层神经网络或逐个神经元观察数据的变化。在一些低信噪比（弱信号，强噪声）下，我们很容易拟合噪声，不容易发现错误，模型的可解释性低。为了提高模型的可解释性，我们可以采用以下两种方法：降低模型结构的复杂度，比如降低树模型的深度，牺牲模型的准确性来换取可解释性；完成后，通过事后辅助的归因分析方法和可视化工具，可以得到模型的可解释性。无论使用哪种方法，目的都是让模型向横轴正方向移动，以获得更多的可解释性。LIME、SHAP等方法属于事后分析方法。可解释机器学习的研究在学术界和工业界引起了热烈反响，发表的文章和应用逐年增加。无论研究方向如何，可解释机器学习研究的最终目标是在保证高水平学习性能的同时，实现更具可解释性的模型；让我们更有效地理解、信任和使用该模型。作者简介：邵平，高级数据科学家，索信达控股金融人工智能实验室主任。在大数据和人工智能领域拥有十余年的技术研发和行业应用经验。技术方向涉及可解释机器学习、深度学习、时间序列预测、智能推荐、自然语言处理等。现主要致力于可解释机器学习、推荐系统、银行智能营销和智能风控。杨建英，云南财经大学统计学硕士，高级数据挖掘工程师，坚定的数据科学追求者，目前专注于机器学习模型的可解释性研究。苏思达，美国天普大学统计学硕士，机器学习算法专家。长期为银行提供大数据和人工智能解决方案和技术服务。主要研究方向为可解释机器学习和人工智能。他撰写了《可解释机器学习研究报告》和许多与可解释的机器学习相关的文章。本文节选自《可解释机器学习：模型、方法与实践》，经发布者授权发布。（书号：9787111695714）
